# robots.txt for http://www.unicamp.br/

User-agent: * 
Crawl-Delay: 10
Disallow: /new/ # Todo site sempre tem um /new
Disallow: /trash/ # Todo site sempre tem um /trash
Disallow: /tmp/ # Todo site sempre tem um /tmp
Disallow: /HISTORICO/ # deposito de sites antigos
Disallow: /pub/ # Nao precisa indexar o /pub