Gerador de Robots.txt

Crie arquivos robots.txt personalizados para controlar o acesso de crawlers ao seu site. Configure permissões para Googlebot, Bingbot e outros mecanismos de busca.

Seu Arquivo Robots.txt Gerado 
# Robots.txt gerado por Facilita Demais
# Data: 

User-agent: *
Allow: /

Sitemap: https://seusite.com/sitemap.xml
Agentes de Busca (User Agents)
Selecione os crawlers
1 selecionado
Regras de Acesso
Adicionar Nova Regra
Exemplos: /admin/, /tmp/*, *.jpg, /private/
Sitemap (Opcional)
Dica: Adicione o URL completo do seu sitemap XML para ajudar os mecanismos de busca a indexar seu site.
Modelos Rápidos
Validação do Robots.txt
O Que é Robots.txt?
🤖
Controle de Crawlers
O robots.txt é um arquivo que instrui os robôs de busca sobre quais páginas devem ou não ser rastreadas.
📁
Localização
Deve estar localizado na raiz do seu site (ex: https://seusite.com/robots.txt) para ser encontrado pelos crawlers.
⚠️
Não é Segurança
Robots.txt não protege seu site! É apenas uma solicitação. Use .htaccess ou outras medidas para segurança real.
🔍
Importante para SEO
Um robots.txt bem configurado ajuda os mecanismos de busca a indexar seu site de forma mais eficiente.
Sintaxe do Robots.txt
Diretivas principais:
  • User-agent: Especifica qual crawler a regra se aplica (* para todos)
  • Allow: Permite o acesso a um caminho específico
  • Disallow: Bloqueia o acesso a um caminho específico
  • Sitemap: Indica a localização do seu sitemap XML
  • # Comentários (tudo após # é ignorado)
Exemplos de padrões:
  • /admin/ - Bloqueia a pasta admin
  • *.jpg - Bloqueia todos arquivos JPG
  • /tmp/* - Bloqueia tudo na pasta tmp
  • (vazio) - Permite tudo (usado após Disallow)
User Agents Comuns
Principais crawlers de busca:
  • * - Todos os crawlers (padrão)
  • Googlebot - Crawler principal do Google
  • Googlebot-Image - Crawler de imagens do Google
  • Googlebot-News - Crawler do Google Notícias
  • Bingbot - Crawler do Bing/Microsoft
  • Slurp - Crawler do Yahoo
  • DuckDuckBot - Crawler do DuckDuckGo
  • Baiduspider - Crawler do Baidu
  • YandexBot - Crawler do Yandex
Crawlers específicos:
  • Twitterbot - Crawler do Twitter
  • FacebookExternalHit - Crawler do Facebook
  • LinkedInBot - Crawler do LinkedIn
  • Applebot - Crawler da Apple
Melhores Práticas
O que fazer:
  • Use User-agent: * para regras que se aplicam a todos os crawlers
  • Especifique o caminho completo do sitemap
  • Teste seu robots.txt no Google Search Console
  • Mantenha o arquivo simples e direto
  • Use comentários para documentar decisões importantes
O que não fazer:
  • Não use robots.txt para esconder conteúdo sensível
  • Não bloqueie CSS e JavaScript (isso prejudica a indexação)
  • Evite regras excessivamente complexas
  • Não use maiúsculas e minúsculas aleatoriamente
  • Não inclua mais de um sitemap por linha
Ferramentas de Teste
Recomendado após gerar seu robots.txt:
  • Google Search Console: Teste de robots.txt integrado
  • Ferramenta de Teste do Bing: No Bing Webmaster Tools
  • Validadores Online: Varie ferramentas para diferentes perspectivas
  • Simuladores de Crawler: Teste como diferentes bots verão seu site
Lembre-se: Sempre teste em ambiente de staging antes de aplicar em produção!