Générateur de robots.txt
Créez un fichier robots.txt valide pour votre site.
Comment utiliser Générateur de robots.txt
- Choisissez d'autoriser ou de bloquer les robots d'exploration.
- Ajoutez les chemins à interdire et l'URL de votre sitemap.
- Copiez le fichier et téléversez-le à la racine de votre site sous le nom robots.txt.
À propos de Générateur de robots.txt
Le générateur de robots.txt crée un fichier robots.txt valide : une ligne User-agent, les règles Disallow correspondant au mode d'accès choisi (tout autoriser, bloquer tout le site, ou autoriser sauf les chemins que vous listez), ainsi que des lignes optionnelles Crawl-delay et Sitemap. Les chemins sont normalisés pour commencer par une barre oblique. Vous copiez le résultat et le téléversez à la racine de votre domaine, où les robots d'exploration le cherchent à l'adresse /robots.txt.
C'est la méthode standard pour tenir les moteurs de recherche à l'écart des pages d'administration, des paniers, des résultats de recherche interne et d'autres URL que vous préférez ne pas voir explorées. Il est généré dans votre navigateur à partir des choix que vous faites.
Le point crucial à comprendre : robots.txt est une demande polie, pas un verrou. Il demande aux robots bien élevés de ne pas explorer les chemins listés — mais il ne rend pas une page privée ni sécurisée. Les robots malveillants l'ignorent tout simplement, et une page interdite peut quand même apparaître dans les résultats de recherche si d'autres sites y renvoient. Pour une réelle confidentialité, utilisez une balise noindex ou une protection par mot de passe, pas robots.txt. Notez aussi que Google ignore la directive Crawl-delay. Une fois vos pages importantes explorables, listez-les avec le générateur de sitemap et définissez les balises au niveau des pages avec le générateur de balises meta.
Questions fréquentes
Robots.txt rend-il une page privée ?
Non. Il demande seulement aux robots respectueux de ne pas récupérer un chemin. Il ne cache, ne sécurise ni ne protège par mot de passe quoi que ce soit, et seuls les robots bien élevés y obéissent. Pour une vraie confidentialité, utilisez une authentification ou une directive noindex.
Une page interdite peut-elle quand même apparaître sur Google ?
Oui. Si d'autres sites renvoient vers une URL que vous avez interdite, elle peut quand même être indexée et affichée, parfois sans description. Pour exclure totalement une page des résultats, utilisez une balise noindex plutôt que robots.txt.
Crawl-delay fonctionne-t-il sur Google ?
Non. Google ignore la directive Crawl-delay et gère lui-même sa vitesse d'exploration. D'autres robots la respectent, c'est pourquoi l'outil propose quand même cette option.
Où dois-je placer le fichier ?
À la racine de votre domaine, accessible à /robots.txt — par exemple, example.com/robots.txt. Les robots ne le cherchent qu'à cet endroit ; un robots.txt placé dans un sous-dossier n'est pas utilisé.
Bloquer un chemin le retirera-t-il des résultats de recherche ?
Pas de façon fiable. Bloquer l'exploration peut en réalité empêcher Google de voir une balise noindex sur cette page. Pour retirer une page, autorisez son exploration et ajoutez une directive noindex, ou utilisez les outils de suppression du moteur de recherche.