Para que serve
Gere um arquivo robots.txt profissional para controlar o que o Google e outros bots podem indexar no seu site.
- Gratuito — use sem cadastro e sem limite artificial.
- Privado — o processamento acontece no seu navegador.
- Pronto para produção — copie ou baixe o resultado e use no seu site.
Como usar
Siga os passos abaixo para obter o melhor resultado com o Gerador de Robots.txt.
- Escolha o User-agent (* para todos os bots).
- Adicione caminhos para bloquear (ex.: /admin/, /includes/).
- Informe a URL do seu sitemap.xml.
- Baixe o robots.txt e envie para a raiz do domínio.
Benefícios
Por que vale a pena usar esta ferramenta no seu fluxo.
- Evita indexar páginas privadas ou duplicadas.
- Aponta o Sitemap para o Google encontrar seu conteúdo.
- Arquivo gerado segue a especificação padrão.
Perguntas frequentes
Dúvidas comuns sobre o Gerador de Robots.txt.
Onde colocar o robots.txt?
Na raiz do domínio, por exemplo https://seusite.com/robots.txt.
Robots.txt esconde páginas do Google?
Ele pede para não rastrear. Para não indexar de forma definitiva, use também noindex ou autenticação.
Posso bloquear tudo?
Sim, com Disallow: /, mas isso impede a indexação do site inteiro. Use com cuidado.