Testeur de robots.txt
Saisissez un site et voyez ses règles robots.txt, le crawl-delay et les sitemaps déclarés.
Comment utiliser Testeur de robots.txt
- Saisissez l'URL ou le domaine d'un site.
- Cliquez sur Tester robots.txt.
- Voyez les règles groupées par user-agent, ainsi que les sitemaps.
À propos de Testeur de robots.txt
Le Testeur de robots.txt récupère le /robots.txt d'un site et vous montre ce qu'il dit réellement : les règles groupées par User-agent, chaque chemin Allow et Disallow, tout Crawl-delay, et chaque ligne Sitemap qu'il déclare. Saisissez un domaine et il lit le fichier en direct pour vous.
C'est le moyen le plus rapide de confirmer qu'un site ne bloque pas par erreur les moteurs, de voir quelles sections sont interdites et de vérifier que votre sitemap est bien référencé depuis robots.txt — un détail qui aide les moteurs à le trouver. S'il n'y a pas de robots.txt, c'est aussi signalé, ce qui par défaut signifie que tout le site est explorable. Pour créer ou modifier le fichier, utilisez le générateur de robots.txt, et pour compter les URL d'un sitemap qu'il indique, le compteur d'URL de sitemap.
Questions fréquentes
Que montre le testeur ?
Les règles robots.txt groupées par user-agent — les chemins Allow et Disallow et tout crawl-delay — plus chaque sitemap déclaré par le fichier et si un robots.txt a été trouvé.
Et si un site n'a pas de robots.txt ?
L'outil signale qu'aucun n'a été trouvé. Sans robots.txt, les moteurs peuvent généralement explorer tout le site.
Un Disallow avec une valeur vide bloque-t-il le site ?
Non — une ligne Disallow sans rien après signifie l'inverse : l'accès complet est autorisé pour ce user-agent. Le testeur l'indique clairement.
Puis-je saisir seulement un domaine ?
Oui. Saisissez un domaine ou toute URL de page et l'outil vérifie automatiquement le robots.txt à la racine du site.
Cela change-t-il quelque chose sur le site ?
Non. Il lit seulement le fichier robots.txt public et l'affiche ; il ne modifie jamais rien.