Gerador de robots.txt
Crie o arquivo robots.txt do seu site: escolha o user-agent, adicione regras Allow e Disallow, informe o seu sitemap e baixe o arquivo pronto para enviar.
Para que serve o arquivo robots.txt
O arquivo robots.txt fica na raiz do seu site (por exemplo, https://www.seusite.com.br/robots.txt) e informa aos rastreadores dos buscadores quais caminhos eles podem visitar. A diretiva Disallow pede aos bots que não rastreiem um caminho, enquanto Allow abre uma exceção dentro de uma pasta bloqueada (por exemplo, você bloqueia /admin/, mas permite /admin/public/). Um detalhe importante: o robots.txt controla o rastreamento, não a indexação. Uma página bloqueada ainda pode aparecer no Google se outros sites tiverem links para ela. Para manter uma página realmente fora dos resultados de busca, use a tag meta noindex.
As regras que a maioria dos sites usa
Quase todo site bloqueia áreas privadas como /wp-admin/ ou /admin/, carrinhos de compra e páginas de busca interna com parâmetros, que só gastam orçamento de rastreamento. Adicionar a linha Sitemap: com a URL completa ajuda o Google e o Bing a descobrir todas as suas páginas logo de cara. Lembre-se de que os caminhos diferenciam maiúsculas de minúsculas e de que cada bloco de regras vale para o user-agent declarado acima dele: com * você fala com todos os bots de uma vez.