Generador de robots.txt
Crea el archivo robots.txt de tu sitio: elige el user-agent, añade reglas Allow y Disallow, indica tu sitemap y descarga el archivo listo para subir.
Para qué sirve el archivo robots.txt
El archivo robots.txt se coloca en la raíz de tu sitio (por ejemplo https://www.tusitio.com/robots.txt) e indica a los rastreadores de los buscadores qué rutas pueden visitar. La directiva Disallow pide a los bots que no rastreen una ruta, mientras que Allow abre una excepción dentro de una carpeta bloqueada (por ejemplo, bloqueas /admin/ pero permites /admin/public/). Un matiz importante: robots.txt controla el rastreo, no la indexación: una página bloqueada puede seguir apareciendo en Google si otros sitios enlazan a ella. Para mantener una página realmente fuera de los resultados, usa la etiqueta meta noindex.
Las reglas que usan casi todos los sitios
Casi todos los sitios bloquean las zonas privadas como /wp-admin/ o /admin/, los carritos de la compra y las páginas de búsqueda interna con parámetros, que solo gastan presupuesto de rastreo. Añadir la línea Sitemap: con la URL completa ayuda a Google y a Bing a descubrir todas tus páginas enseguida. Ten en cuenta que las rutas distinguen mayúsculas y minúsculas, y que cada bloque de reglas se aplica al user-agent declarado encima: con * te diriges a todos los bots a la vez.