Robots.txt: para que serve e como configurar sem errar

O robots.txt é um arquivo de texto simples, colocado na raiz do site, que diz aos robôs de busca quais partes do site eles podem ou não rastrear. É pequeno, fácil de editar — e justamente por isso, fácil de configurar errado de um jeito que bloqueia o site inteiro sem querer.

Para que ele serve

• Impedir que áreas administrativas ou internas sejam rastreadas desnecessariamente.
• Evitar que páginas de baixo valor (como resultados de busca interna do site) consumam o orçamento de rastreamento do Google.
• Apontar a localização do sitemap XML para os buscadores.

Um ponto importante: bloquear uma página no robots.txt impede o rastreamento, mas não garante que ela nunca será indexada — se outros sites linkarem para essa página, o Google ainda pode indexá-la sem visitar o conteúdo. Para realmente impedir a indexação, a ferramenta correta é a tag "noindex", não o robots.txt.

Estrutura básica

Um robots.txt simples costuma ter este formato:

• User-agent: define para qual robô a regra se aplica (o asterisco * significa "todos").
• Disallow: define o caminho que não deve ser rastreado.
• Allow: libera uma exceção dentro de um caminho bloqueado.
• Sitemap: indica o endereço completo do sitemap XML.

O erro mais comum e mais grave

Uma linha como "Disallow: /" bloqueia o rastreamento do site inteiro. Esse tipo de configuração costuma sobrar acidentalmente de um ambiente de testes ou desenvolvimento, e quando vai parar em produção, pode fazer o site inteiro sumir gradualmente dos resultados de busca. Sempre vale conferir o robots.txt depois de qualquer migração ou lançamento de site novo.

Como testar seu robots.txt

O Google Search Console conta com um relatório de configurações de rastreamento que ajuda a identificar bloqueios indesejados, e o próprio arquivo pode ser verificado diretamente acessando "seusite.com.br/robots.txt" no navegador. Vale revisar esse arquivo sempre que o site passar por mudanças estruturais.