Probador de robots.txt
Introduce una web y ve sus reglas de robots.txt, el crawl-delay y los sitemaps declarados.
Cómo usar Probador de robots.txt
- Introduce la URL o el dominio de una web.
- Haz clic en Probar robots.txt.
- Ve las reglas agrupadas por user-agent, y los sitemaps.
Acerca de Probador de robots.txt
El Probador de robots.txt descarga el /robots.txt de una web y te muestra lo que realmente dice: las reglas agrupadas por User-agent, cada ruta Allow y Disallow, cualquier Crawl-delay y cada línea Sitemap que declara. Solo introduce un dominio y lee el archivo en vivo por ti.
Es la forma más rápida de confirmar que un sitio no bloquea sin querer a los buscadores, ver qué secciones están prohibidas y comprobar que tu sitemap está referenciado desde robots.txt — un detalle que ayuda a los buscadores a encontrarlo. Si no existe robots.txt, también se informa, lo que por defecto significa que todo el sitio es rastreable. Para crear o editar el archivo, usa el generador de robots.txt, y para contar las URLs de un sitemap al que apunte, el contador de URLs de sitemap.
Preguntas frecuentes
¿Qué muestra el probador?
Las reglas de robots.txt agrupadas por user-agent — las rutas Allow y Disallow y cualquier crawl-delay — más cada sitemap que declara el archivo y si se encontró un robots.txt.
¿Y si un sitio no tiene robots.txt?
La herramienta informa de que no se encontró. Sin robots.txt, los buscadores suelen poder rastrear todo el sitio.
¿Un Disallow con valor vacío bloquea el sitio?
No — una línea Disallow sin nada después significa lo contrario: se permite el acceso total a ese user-agent. El probador lo indica con claridad.
¿Puedo introducir solo un dominio?
Sí. Introduce un dominio o cualquier URL de página y la herramienta comprueba el robots.txt en la raíz del sitio automáticamente.
¿Cambia algo en el sitio?
No. Solo lee el archivo robots.txt público y lo muestra; nunca modifica nada.