User-agent:*
Disallow:/cgi-bin/

Disallow: index.php/
Disallow: /user/
Disallow: /cse/
Disallow: /admin.php

User-agent: *
Crawl-delay: 2 # задает таймаут в 2 секунды