Generador de Robots.txt
Crea un archivo robots.txt válido para tu sitio.
Cómo usar Generador de Robots.txt
- Elige si permitir o bloquear los rastreadores.
- Añade las rutas a bloquear y la URL de tu sitemap.
- Copia el archivo y súbelo a la raíz de tu sitio como robots.txt.
Acerca de Generador de Robots.txt
El Generador de Robots.txt crea un archivo robots.txt válido: una línea User-agent, las reglas Disallow según el modo de acceso que elijas (permitir todo, bloquear todo el sitio, o permitir excepto las rutas que indiques), y líneas opcionales de Crawl-delay y Sitemap. Las rutas se normalizan para empezar con una barra. Copias el resultado y lo subes a la raíz de tu dominio, donde los rastreadores lo buscan en /robots.txt.
Es la forma estándar de mantener a los buscadores fuera de páginas de administración, carritos, resultados de búsqueda interna y otras URL que preferirías que no se rastrearan. Se genera en tu navegador a partir de las opciones que elijas.
Lo esencial que hay que entender: robots.txt es una petición educada, no un candado. Le pide a los rastreadores bien portados que no rastreen las rutas indicadas, pero no hace privada ni segura una página. Los bots maliciosos simplemente lo ignoran, y una página bloqueada puede seguir apareciendo en resultados de búsqueda si otros sitios enlazan a ella. Para privacidad real, usa una etiqueta noindex o protección por contraseña, no robots.txt. Ten en cuenta también que Google ignora la directiva Crawl-delay. Una vez que tus páginas importantes sean rastreables, indícalas con el generador de sitemap y configura las etiquetas a nivel de página con el generador de meta tags.
Preguntas frecuentes
¿Robots.txt hace privada una página?
No. Solo pide a los rastreadores que cumplen las normas que no accedan a una ruta. No oculta, protege ni pone contraseña a nada, y solo los bots bien portados lo obedecen. Para privacidad real, usa autenticación o una directiva noindex.
¿Puede aparecer en Google una página bloqueada?
Sí. Si otros sitios enlazan a una URL que has bloqueado, puede seguir indexándose y mostrándose, a veces sin descripción. Para excluir una página por completo de los resultados, usa una etiqueta noindex en lugar de robots.txt.
¿Funciona Crawl-delay en Google?
No. Google ignora la directiva Crawl-delay y gestiona su propia frecuencia de rastreo. Otros rastreadores sí la respetan, por eso la herramienta sigue ofreciendo la opción.
¿Dónde coloco el archivo?
En la raíz de tu dominio, accesible en /robots.txt, por ejemplo, ejemplo.com/robots.txt. Los rastreadores solo buscan ahí; un robots.txt colocado en una subcarpeta no se utiliza.
¿Bloquear una ruta la eliminará de las búsquedas?
No de forma fiable. Bloquear el rastreo puede impedir que Google llegue a ver una etiqueta noindex en esa página. Para eliminar una página, permite que se rastree y añade una directiva noindex, o usa las herramientas de eliminación del buscador.