RankEngineResposta rápida: escolha a sua plataforma e como deseja que a pesquisa clássica, os bots de treino de IA e os motores de resposta de IA sejam tratados — o gerador escreve um robots.txt correto com regras por bot e uma linha de Content-Signal. Para uma loja, a resposta certa habitual é permitir tudo: bloquear rastreadores de IA retira-o das respostas que os compradores já estão a ler.
Ferramenta grátis
Gerador de Robots.txt Grátis — Crawlers AI, Shopify e Mais
A decisão que realmente importa em 2026
As antigas questões sobre o robots.txt — bloquear /cart, apontar para o sitemap — são padrões resolvidos. A decisão atual é o acesso da IA, e tem duas metades que a maioria dos geradores confunde:
- Rastreadores de treino (GPTBot, ClaudeBot, CCBot, Google-Extended) coletam conteúdo para treinar modelos futuros. Bloqueá-los é uma posição filosófica com um custo comercial: modelos que nunca leram a sua loja não podem recomendá-la de memória.
- Rastreadores de motores de resposta (OAI-SearchBot, PerplexityBot, ChatGPT-User) buscam páginas ao vivo para responder à pergunta de um utilizador naquele momento — muitas vezes "o que devo comprar". Bloquear estes remove-o das respostas no exato momento da intenção de compra.
Para uma loja, permitir ambos é quase sempre a escolha certa: as respostas de IA são um canal de descoberta em crescimento, e o robots.txt é onde você aparece ou desaparece. Editores com poder de licenciamento enfrentam um cálculo diferente — mas as páginas de produtos de um comerciante beneficiam de cada motor que as pode ler. O raciocínio completo está no nosso guia de otimização de pesquisa de IA e no guia de robots.txt da Shopify.
Mais uma coisa que o robots.txt não pode fazer: torná-lo citável. Isso requer dados estruturados, um manifesto llms.txt, e motores de conteúdo podem extrair respostas disso — a camada que o RankEngine automatiza para lojas Shopify.
Perguntas frequentes
O que faz exatamente o robots.txt?
Indica aos crawlers quais caminhos podem aceder. Não remove páginas do índice — um URL bloqueado pode ainda ser indexado a partir de links externos, apenas sem conteúdo. Para manter uma página fora dos resultados, use uma meta tag noindex e permita que os crawlers a vejam. O robots.txt serve para gerir o acesso de rastreamento, não a visibilidade.
Devo bloquear crawlers de IA como GPTBot e ClaudeBot?
Para uma loja online, geralmente não — bloquear crawlers de IA torna os seus produtos invisíveis para o ChatGPT, Claude e Perplexity exatamente quando os compradores estão a perguntar o que comprar. A abordagem mais subtil que este gerador suporta: distinguir crawlers de treino (GPTBot, CCBot) de crawlers de motores de resposta (OAI-SearchBot, PerplexityBot) e decidir cada política deliberadamente.
Como edito o robots.txt no Shopify?
O Shopify fornece um robots.txt gerado automaticamente que não pode ser editado diretamente. Para personalizá-lo, crie o template robots.txt.liquid: Loja Online → Temas → Editar código → Adicionar um novo template → robots.txt. Cole as regras lá — os padrões do Shopify (bloqueios de carrinho, checkout, admin) permanecem a menos que os substitua, por isso adicione apenas o que deseja alterar.
O que é a linha Content-Signal?
Uma convenção emergente (promovida pela Cloudflare) que declara como o conteúdo pode ser usado: search=yes/no, ai-train=yes/no, ai-input=yes/no. Os crawlers estão a começar a respeitá-la como uma política de uso legível por máquina juntamente com regras por bot. Este gerador escreve-a para corresponder às escolhas que faz acima.
Onde vai o ficheiro?
Na raiz do domínio: yourstore.com/robots.txt. Os motores de busca apenas verificam esse caminho exato. No Shopify, o template robots.txt.liquid trata da colocação automaticamente; noutras plataformas, carregue-o na raiz da web.
Todas as ferramentas grátis
SEO Title Generator & Checker
Generate SEO titles from your keyword and check any title's character count, pixel width, and keyword position.
Meta Description Generator & SERP Preview
Generate high-converting meta descriptions and preview how your page looks in Google.
Keyword Density Checker
Paste any text and see keyword density, top 1–2–3-word phrases, and stuffing warnings.
LSI & Related Keyword Generator
Generate related keywords, question keywords, and commercial long-tails from any seed term.
Image Alt Text Generator & Checker
Build descriptive, SEO-friendly alt text for product images and check existing alt text for length, redundancy, and stuffing.
Googlebot Simulator — See What Google Sees
Fetch any URL with Googlebot's user agent: status code, redirects, title, meta robots, canonical, X-Robots-Tag, H1s, and an indexability verdict.
Schema markup generator
Generate valid JSON-LD schema free: Product, FAQPage, BreadcrumbList, LocalBusiness and Article.
Hreflang tag generator
Build a valid hreflang cluster for every language version of a page, with x-default, and a built-in check that every URL points back at every other one..
UTM builder
Build consistent UTM-tagged campaign URLs free.
URL slug generator
Turn any title into a clean, lowercase, hyphenated URL slug.
Readability checker
Paste text and get Flesch Reading Ease, Flesch-Kincaid grade level, sentence length distribution and the specific sentences that are dragging the score down..
SERP preview tool
Preview how a title, URL and meta description will render in Google on desktop and mobile, measured in pixels rather than characters so truncation is accurate..
SEO ROI calculator
Estimate what a ranking improvement is worth: search volume, position-based CTR, conversion rate and order value, plus a payback period on your SEO spend..
Open Graph generator
Generate Open Graph and Twitter card meta tags with a live preview of how the link will look when shared on Facebook, LinkedIn, X, WhatsApp and Slack..
SEO report generator
Generate an on-page SEO report for any URL: title and meta lengths, headings, canonical, schema types, image alt coverage, links and indexability, scored..
Redirect checker
Follow any URL hop by hop: every status code, every intermediate URL, and the page that finally answers.
Robots.txt tester
Fetch any site robots.txt and test a path against Googlebot, Bingbot, GPTBot, ClaudeBot and PerplexityBot.
Sitemap checker
Fetch any XML sitemap or index and check it: URL count against the 50,000 limit, lastmod coverage and honesty, size and reachability..
HTTP header checker
Fetch any URL as Googlebot and read the full response headers, with the SEO-relevant ones called out: X-Robots-Tag, Cache-Control, Content-Type, Vary and HSTS..
AI visibility checker
Check what AI answer engines may do with a site: GPTBot, ClaudeBot, PerplexityBot and Google-Extended rules, llms.txt, and whether pages are quotable..
hreflang checker
Read the hreflang cluster on any page: every declared alternate, whether the page includes itself, whether x-default is present, and whether the codes are valid..
Canonical checker
Check the canonical on any URL: present or missing, self-referencing or pointing elsewhere, and whether a redirect or noindex contradicts it..
Heading structure checker
Check the heading structure of any page: how many H1s, whether levels are skipped, and how many sections a reader or an answer engine can actually navigate..
Indexability checker
One verdict from every signal that decides it: status code, robots meta, X-Robots-Tag, canonical target, redirect chain and whether the HTML has content at all..
Guias relacionados
ai.txt vs llms.txt: Which File Do AI Crawlers Read?How to Get Indexed by LLMs Through an llms.txt Filellms.txt generator for Shopify (free): create oneShopify robots.txt: edit and fix it right
Run this across your whole catalog
RankEngine applies and verifies these fixes on every product in your Shopify store — automatically.
Start a 3-day free trial