Gerador de Robots.txt
Crie um arquivo robots.txt válido para o seu site.
Como usar Gerador de Robots.txt
- Escolha se deseja permitir ou bloquear rastreadores.
- Adicione os caminhos a bloquear e a URL do seu sitemap.
- Copie o arquivo e faça o upload para a raiz do seu site como robots.txt.
Sobre Gerador de Robots.txt
O Gerador de Robots.txt cria um arquivo robots.txt válido: uma linha User-agent, as regras Disallow para o modo de acesso que você escolher (permitir tudo, bloquear o site inteiro, ou permitir exceto os caminhos que você listar), e linhas opcionais de Crawl-delay e Sitemap. Os caminhos são padronizados para começar com uma barra. Você copia o resultado e faz o upload para a raiz do seu domínio, onde os rastreadores o procuram em /robots.txt.
É a forma padrão de manter os mecanismos de busca fora de páginas de administração, carrinhos, resultados de busca interna e outras URLs que você prefere não ter rastreadas. Ele é gerado no seu navegador a partir das escolhas que você faz.
O ponto crucial a entender: o robots.txt é um pedido educado, não um cadeado. Ele solicita que rastreadores bem-comportados não rastreiem os caminhos listados — mas não torna uma página privada ou segura. Bots maliciosos simplesmente o ignoram, e uma página bloqueada ainda pode aparecer nos resultados de busca se outros sites apontarem para ela. Para privacidade real, use uma tag noindex ou proteção por senha, não o robots.txt. Observe também que o Google ignora a diretiva Crawl-delay. Depois que suas páginas importantes estiverem rastreáveis, liste-as com o gerador de sitemap e defina tags no nível da página com o gerador de meta tags.
Perguntas frequentes
O robots.txt torna uma página privada?
Não. Ele apenas pede aos rastreadores compatíveis que não acessem um caminho. Não oculta, protege ou restringe nada por senha, e apenas os bots bem-comportados o obedecem. Para privacidade real, use autenticação ou uma diretiva noindex.
Uma página bloqueada ainda pode aparecer no Google?
Sim. Se outros sites apontarem para uma URL que você bloqueou, ela ainda pode ser indexada e exibida, às vezes sem descrição. Para manter uma página totalmente fora dos resultados, use uma tag noindex em vez do robots.txt.
O Crawl-delay funciona no Google?
Não. O Google ignora a diretiva Crawl-delay e gerencia sua própria taxa de rastreamento. Alguns outros rastreadores a respeitam, por isso a ferramenta ainda oferece a opção.
Onde eu coloco o arquivo?
Na raiz do seu domínio, acessível em /robots.txt — por exemplo, exemplo.com/robots.txt. Os rastreadores só procuram lá; um robots.txt colocado em uma subpasta não é utilizado.
Bloquear um caminho vai removê-lo da busca?
Não de forma confiável. Bloquear o rastreamento pode, na verdade, impedir que o Google veja uma tag noindex naquela página. Para remover uma página, permita que ela seja rastreada e adicione uma diretiva noindex, ou use as ferramentas de remoção do mecanismo de busca.