RankEngineRéponse rapide : choisissez votre plateforme et comment vous souhaitez traiter la recherche classique, les bots d'entraînement IA et les moteurs de réponse IA — le générateur rédige un fichier robots.txt correct avec des règles par bot et une ligne Content-Signal. Pour une boutique, la réponse habituelle est de tout autoriser : bloquer les crawleurs IA vous exclut des réponses que les acheteurs lisent déjà.
Outil gratuit
Générateur Robots.txt Gratuit — IA Crawlers, Shopify & Plus
La décision qui compte vraiment en 2026
Les anciennes questions sur le fichier robots.txt — bloquer /cart, pointer vers le sitemap — sont des paramètres par défaut résolus. La décision actuelle concerne l'accès de l'IA, et elle se divise en deux parties souvent confondues par la plupart des générateurs :
- Les crawlers d'entraînement (GPTBot, ClaudeBot, CCBot, Google-Extended) collectent du contenu pour entraîner les futurs modèles. Les bloquer est une position philosophique avec un coût commercial : les modèles qui n'ont jamais lu votre boutique ne peuvent pas la recommander de mémoire.
- Les crawlers des moteurs de réponse (OAI-SearchBot, PerplexityBot, ChatGPT-User) récupèrent des pages en direct pour répondre immédiatement à la question d'un utilisateur — souvent "que devrais-je acheter". Les bloquer vous retire des réponses au moment précis où l'intention d'achat est présente.
Pour une boutique, autoriser les deux est presque toujours la meilleure option : les réponses de l'IA sont un canal de découverte en pleine croissance, et robots.txt est l'endroit où vous apparaissez ou disparaissez. Les éditeurs avec un pouvoir de négociation en matière de licences font face à un calcul différent — mais les pages produits d'un marchand bénéficient de chaque moteur qui peut les lire. Le raisonnement complet se trouve dans notre guide d'optimisation de la recherche IA et le guide Shopify robots.txt.
Une autre chose que robots.txt ne peut pas faire : vous rendre citable. Cela nécessite des données structurées, un manifeste llms.txt, et des moteurs de contenu peuvent en extraire des réponses — la couche que RankEngine automatise pour les boutiques Shopify.
Questions fréquentes
Que fait réellement robots.txt ?
Il indique aux robots d'exploration quels chemins ils peuvent récupérer. Il ne supprime pas les pages de l'index — une URL bloquée peut toujours être indexée à partir de liens externes, juste sans contenu. Pour garder une page hors des résultats, utilisez une balise meta noindex et laissez les robots d'exploration la voir. robots.txt sert à gérer l'accès d'exploration, pas la visibilité.
Dois-je bloquer les robots IA comme GPTBot et ClaudeBot ?
Pour une boutique en ligne, généralement non — bloquer les robots IA rend vos produits invisibles pour ChatGPT, Claude et Perplexity exactement quand les acheteurs leur demandent quoi acheter. Le mouvement nuancé que ce générateur soutient : distinguer les robots d'entraînement (GPTBot, CCBot) des robots des moteurs de réponse (OAI-SearchBot, PerplexityBot) et décider de chaque politique délibérément.
Comment modifier robots.txt sur Shopify ?
Shopify propose un robots.txt généré automatiquement que vous ne pouvez pas modifier directement. Il est personnalisé via un modèle robots.txt.liquid dans le thème, qui conserve les règles par défaut de Shopify (cart, checkout, admin) tant que le modèle les rend — donc seuls les changements souhaités sont ajoutés. Ce modèle est du code de thème : confiez les règles à votre développeur de thème, ou utilisez une application SEO qui le gère — RankEngine publie ses règles pour les robots IA là-bas pour vous.
Qu'est-ce que la ligne Content-Signal ?
Une convention émergente (promue par Cloudflare) qui déclare comment le contenu peut être utilisé : search=yes/no, ai-train=yes/no, ai-input=yes/no. Les robots d'exploration commencent à la respecter comme une politique d'utilisation lisible par machine en plus des règles par robot. Ce générateur l'écrit pour correspondre aux choix que vous faites ci-dessus.
Où va le fichier ?
À la racine du domaine : votreboutique.com/robots.txt. Les moteurs de recherche ne vérifient que ce chemin exact. Sur Shopify, le modèle robots.txt.liquid gère le placement automatiquement ; sur d'autres plateformes, téléchargez-le à la racine du web.
Tous les outils gratuits
SEO Title Generator & Checker
Generate SEO titles from your keyword and check any title's character count, pixel width, and keyword position.
Meta Description Generator & SERP Preview
Generate high-converting meta descriptions and preview how your page looks in Google.
Keyword Density Checker
Paste any text and see keyword density, top 1–2–3-word phrases, and stuffing warnings.
LSI & Related Keyword Generator
Generate related keywords, question keywords, and commercial long-tails from any seed term.
Image Alt Text Generator & Checker
Build descriptive, SEO-friendly alt text for product images and check existing alt text for length, redundancy, and stuffing.
Googlebot Simulator — See What Google Sees
Fetch any URL with Googlebot's user agent: status code, redirects, title, meta robots, canonical, X-Robots-Tag, H1s, and an indexability verdict.
Schema markup generator
Generate valid JSON-LD schema free: Product, FAQPage, BreadcrumbList, LocalBusiness and Article.
Hreflang tag generator
Build a valid hreflang cluster for every language version of a page, with x-default, and a built-in check that every URL points back at every other one..
UTM builder
Build consistent UTM-tagged campaign URLs free.
URL slug generator
Turn any title into a clean, lowercase, hyphenated URL slug.
Readability checker
Paste text and get Flesch Reading Ease, Flesch-Kincaid grade level, sentence length distribution and the specific sentences that are dragging the score down..
SERP preview tool
Preview how a title, URL and meta description will render in Google on desktop and mobile, measured in pixels rather than characters so truncation is accurate..
SEO ROI calculator
Estimate what a ranking improvement is worth: search volume, position-based CTR, conversion rate and order value, plus a payback period on your SEO spend..
Open Graph generator
Generate Open Graph and Twitter card meta tags with a live preview of how the link will look when shared on Facebook, LinkedIn, X, WhatsApp and Slack..
SEO report generator
Generate an on-page SEO report for any URL: title and meta lengths, headings, canonical, schema types, image alt coverage, links and indexability, scored..
Redirect checker
Follow any URL hop by hop: every status code, every intermediate URL, and the page that finally answers.
Robots.txt tester
Fetch any site robots.txt and test a path against Googlebot, Bingbot, GPTBot, ClaudeBot and PerplexityBot.
Sitemap checker
Fetch any XML sitemap or index and check it: URL count against the 50,000 limit, lastmod coverage and honesty, size and reachability..
HTTP header checker
Fetch any URL as Googlebot and read the full response headers, with the SEO-relevant ones called out: X-Robots-Tag, Cache-Control, Content-Type, Vary and HSTS..
AI visibility checker
Check what AI answer engines may do with a site: GPTBot, ClaudeBot, PerplexityBot and Google-Extended rules, llms.txt, and whether pages are quotable..
hreflang checker
Read the hreflang cluster on any page: every declared alternate, whether the page includes itself, whether x-default is present, and whether the codes are valid..
Canonical checker
Check the canonical on any URL: present or missing, self-referencing or pointing elsewhere, and whether a redirect or noindex contradicts it..
Heading structure checker
Check the heading structure of any page: how many H1s, whether levels are skipped, and how many sections a reader or an answer engine can actually navigate..
Indexability checker
One verdict from every signal that decides it: status code, robots meta, X-Robots-Tag, canonical target, redirect chain and whether the HTML has content at all..
Guides associés
ai.txt vs llms.txt: Which File Do AI Crawlers Read?What Is a Robots.txt File and How Crawlers Use ItHow to Get Indexed by LLMs Through an llms.txt Filellms.txt generator for Shopify (free): create one
Run this across your whole catalog
RankEngine applies and verifies these fixes on every product in your Shopify store — automatically.
Start a 3-day free trial