Gerador de robots.txt
Escolha um modelo, bloqueie páginas desnecessárias e bots de IA, adicione o sitemap. Copie ou baixe o arquivo pronto.
1Modelo
2Todos os robôs
User-agent: *Um caminho por linha. O asterisco * substitui quaisquer caracteres, $ marca o fim do endereço.
Uma pausa entre as solicitações do robô. Bing e alguns outros robôs a respeitam, Google e Yandex ignoram essa linha.
3Bots de IA
4Regras para bots específicos
Por exemplo, bloquear serviços de análise de SEO ou tirar suas imagens do Google Imagens.
5Sitemap
robots.txt
Coloque o arquivo na raiz do site para que ele abra em um endereço como example.com/robots.txt.
Robots.txt em poucos minutos
- 1Escolha um modelopara a sua plataforma ou um site comum
- 2Ajuste as regrasbloqueie seções desnecessárias, bots de IA e robôs específicos
- 3Envie o arquivobaixe o robots.txt e coloque-o na raiz do site
O que é robots.txt
É um arquivo de texto na raiz do site que os robôs leem primeiro. Ele diz quais seções podem ser rastreadas e quais não, e onde está o sitemap. Cada bloco começa com a linha User-agent, o nome do robô; o asterisco significa todos os robôs. Abaixo vêm as regras Disallow (bloquear) e Allow (permitir).
Importante: o robots.txt controla o rastreamento, não a indexação. Uma página bloqueada no robots.txt ainda pode aparecer na busca se outros sites apontarem para ela. Para tirá-la da busca de vez, deixe-a aberta para o robô e adicione a meta tag noindex.
Como bloquear os bots de IA
As empresas de IA rastreiam sites com seus próprios robôs: GPTBot da OpenAI, ClaudeBot da Anthropic, CCBot da Common Crawl, Bytespider da ByteDance. Uns coletam textos para treinar modelos, outros buscam na hora a resposta para a pergunta de um usuário. Se você bloquear só o treinamento, ChatGPT, Claude e Perplexity ainda poderão mostrar links para o seu site.
Google-Extended e Applebot-Extended não são robôs separados, e sim marcadores: eles impedem que Google e Apple usem seus textos na IA deles, sem afetar a busca comum. Lembre-se de que o robots.txt é um pedido, não uma tranca: bots honestos o respeitam, mas ele não protege dados privados.
Erros comuns
O mais perigoso é uma linha Disallow: / esquecida no bloco para todos os robôs depois do desenvolvimento: o site some da busca. Não bloqueie arquivos CSS e JavaScript, sem eles o Google não vê a página como uma pessoa vê. Lembre-se de que um robô com seu próprio bloco de regras deixa de seguir as regras gerais. Depois de enviar, verifique o arquivo no Google Search Console e no Yandex Webmaster.
Perguntas frequentes
Não encontrou a resposta? Fale com a gente que ajudamos.
Na raiz do site, para que ele abra em um endereço como example.com/robots.txt. Os robôs não encontram um arquivo em uma subpasta. Cada subdomínio precisa do seu próprio robots.txt. WordPress, Shopify e Tilda criam o arquivo automaticamente; você pode trocá-lo pelo seu ou ajustá-lo nas configurações.
Nem sempre. Ele impede o robô de entrar na página, mas se houver links para ela, o endereço pode aparecer nos resultados sem descrição. Para tirar uma página da busca, use a meta tag robots com noindex e não a bloqueie no robots.txt, senão o robô não verá essa tag.
Ative "Bloquear os bots de IA" e escolha "Só treinamento de modelos" ou "Todos os bots de IA". O arquivo vai listar GPTBot, ClaudeBot, Google-Extended, CCBot e outros bots conhecidos. As grandes empresas respeitam essa regra, mas o robots.txt não protege contra quem a ignora.
Não. A busca comum do Google funciona pelo Googlebot, e o Google-Extended só controla o uso dos seus textos na IA do Google. Mas se você bloquear a busca com IA (OAI-SearchBot, PerplexityBot, Claude-SearchBot), o site deixará de aparecer nas respostas desses serviços.
Disallow bloqueia o rastreamento de um caminho e de tudo que começa com ele, Allow abre uma exceção dentro de uma seção bloqueada. Quando as regras conflitam, o Google escolhe a mais longa e precisa. Por exemplo, Disallow: /wp-admin/ e Allow: /wp-admin/admin-ajax.php bloqueiam o painel, mas deixam um arquivo necessário aberto.
É recomendável. A linha Sitemap mostra a todos os buscadores onde está o sitemap, mesmo aos que você não configurou manualmente. O endereço precisa ser completo, com https:// e o domínio. Pode haver vários sitemaps, cada um em sua linha.
Experimente também
Também grátis e sem cadastro