Testador de robots.txt
Digite um site e veja suas regras de robots.txt, o crawl-delay e os sitemaps declarados.
Como usar Testador de robots.txt
- Digite a URL ou o domínio de um site.
- Clique em Testar robots.txt.
- Veja as regras agrupadas por user-agent, além dos sitemaps.
Sobre Testador de robots.txt
O Testador de robots.txt busca o /robots.txt de um site e mostra o que ele realmente diz: as regras agrupadas por User-agent, cada caminho Allow e Disallow, qualquer Crawl-delay e cada linha Sitemap que ele declara. Basta digitar um domínio e ele lê o arquivo ao vivo para você.
É a maneira mais rápida de confirmar que um site não está bloqueando os buscadores sem querer, ver quais seções estão proibidas e conferir se o seu sitemap está referenciado no robots.txt — um detalhe que ajuda os buscadores a encontrá-lo. Se não houver robots.txt, isso também é informado, o que por padrão significa que o site inteiro é rastreável. Para criar ou editar o arquivo, use o gerador de robots.txt, e para contar as URLs de um sitemap que ele aponta, o contador de URLs de sitemap.
Perguntas frequentes
O que o testador mostra?
As regras do robots.txt agrupadas por user-agent — os caminhos Allow e Disallow e qualquer crawl-delay — além de cada sitemap que o arquivo declara e se um robots.txt foi encontrado.
E se um site não tiver robots.txt?
A ferramenta informa que nenhum foi encontrado. Sem robots.txt, os buscadores geralmente podem rastrear o site inteiro.
Um Disallow com valor vazio bloqueia o site?
Não — uma linha Disallow sem nada depois significa o contrário: o acesso total é permitido para aquele user-agent. O testador indica isso com clareza.
Posso digitar só um domínio?
Sim. Digite um domínio ou qualquer URL de página e a ferramenta verifica o robots.txt na raiz do site automaticamente.
Ele muda algo no site?
Não. Ele só lê o arquivo robots.txt público e o exibe; nunca modifica nada.