Ferramentas · SEO
Gerador de robots.txt
Escolha os robôs, os caminhos que podem ou não ser lidos e os sitemaps, e copie um robots.txt sem erro de sintaxe.
Regras
robots.txt
Salve como robots.txt na raiz do site. Ele é um pedido educado, não uma trava: robôs mal-intencionados o ignoram e o arquivo é público. Não use para esconder conteúdo sensível. O Google ignora Crawl-delay.
Como funciona
- O arquivo é feito de grupos: uma ou mais linhas User-agent seguidas de regras Allow e Disallow, que valem para aqueles robôs. Um * em User-agent vale para todos.
- Os caminhos começam com / e podem usar * e $ como curingas nos buscadores principais. Uma linha Disallow vazia significa que nada é bloqueado.
- Dentro do grupo, as linhas Allow saem antes das Disallow. Os buscadores modernos escolhem a regra mais específica, mas robôs antigos usam a primeira que casa.
- A opção de robôs de IA acrescenta um grupo bloqueando GPTBot, CCBot, Google-Extended e ClaudeBot; ela só funciona com quem respeita o arquivo, e a lista de nomes muda com o tempo.
- robots.txt não protege nada: o arquivo é público e não impede acesso direto. Para conteúdo sensível use senha. O Google ignora Crawl-delay; outros buscadores podem respeitar.
Ferramentas relacionadas
Gerador de senha segura
Gere senhas seguras com tamanho e conjuntos escolhidos, estime entropia em bits e classifique a força — sem enviar dados para fora.
Gerador de sitemap.xml
Transforma uma lista de URLs em sitemap.xml válido, escapando & e removendo duplicadas.
Gerador de slug para URL
Um título vira um slug de URL sem acentos, minúsculo e com hífens, com limite de tamanho opcional que respeita as palavras.