RankEngineRéponse rapide : choisissez votre plateforme et comment vous souhaitez traiter la recherche classique, les bots d'entraînement IA et les moteurs de réponse IA — le générateur rédige un fichier robots.txt correct avec des règles par bot et une ligne Content-Signal. Pour une boutique, la réponse habituelle est de tout autoriser : bloquer les crawleurs IA vous exclut des réponses que les acheteurs lisent déjà.
Outil gratuit
Générateur Robots.txt Gratuit — IA Crawlers, Shopify & Plus
La décision qui compte vraiment en 2026
Les anciennes questions sur le fichier robots.txt — bloquer /cart, pointer vers le sitemap — sont des paramètres par défaut résolus. La décision actuelle concerne l'accès de l'IA, et elle se divise en deux parties souvent confondues par la plupart des générateurs :
- Les crawlers d'entraînement (GPTBot, ClaudeBot, CCBot, Google-Extended) collectent du contenu pour entraîner les futurs modèles. Les bloquer est une position philosophique avec un coût commercial : les modèles qui n'ont jamais lu votre boutique ne peuvent pas la recommander de mémoire.
- Les crawlers des moteurs de réponse (OAI-SearchBot, PerplexityBot, ChatGPT-User) récupèrent des pages en direct pour répondre immédiatement à la question d'un utilisateur — souvent "que devrais-je acheter". Les bloquer vous retire des réponses au moment précis où l'intention d'achat est présente.
Pour une boutique, autoriser les deux est presque toujours la meilleure option : les réponses de l'IA sont un canal de découverte en pleine croissance, et robots.txt est l'endroit où vous apparaissez ou disparaissez. Les éditeurs avec un pouvoir de négociation en matière de licences font face à un calcul différent — mais les pages produits d'un marchand bénéficient de chaque moteur qui peut les lire. Le raisonnement complet se trouve dans notre guide d'optimisation de la recherche IA et le guide Shopify robots.txt.
Une autre chose que robots.txt ne peut pas faire : vous rendre citable. Cela nécessite des données structurées, un manifeste llms.txt, et des moteurs de contenu peuvent en extraire des réponses — la couche que RankEngine automatise pour les boutiques Shopify.
Questions fréquentes
Que fait réellement le fichier robots.txt ?
Il indique aux crawlers quels chemins ils peuvent récupérer. Il ne supprime pas les pages de l'index — une URL bloquée peut encore être indexée à partir de liens externes, mais sans contenu. Pour empêcher une page d'apparaître dans les résultats, utilisez une balise meta noindex et laissez les crawlers la voir. robots.txt sert à gérer l'accès au crawl, pas la visibilité.
Dois-je bloquer les crawlers IA comme GPTBot et ClaudeBot ?
Pour une boutique en ligne, généralement non — bloquer les crawlers IA rend vos produits invisibles pour ChatGPT, Claude et Perplexity exactement quand les acheteurs leur demandent quoi acheter. La démarche nuancée que ce générateur soutient : distinguer les crawlers d'entraînement (GPTBot, CCBot) des crawlers de moteurs de réponse (OAI-SearchBot, PerplexityBot) et décider de chaque politique délibérément.
Comment modifier le fichier robots.txt sur Shopify ?
Shopify propose un robots.txt généré automatiquement que vous ne pouvez pas modifier directement. Pour le personnaliser, créez le modèle robots.txt.liquid : Boutique en ligne → Thèmes → Modifier le code → Ajouter un nouveau modèle → robots.txt. Collez-y vos règles — les paramètres par défaut de Shopify (blocage du panier, de la caisse, de l'administration) restent à moins que vous ne les remplaciez, donc ajoutez seulement ce que vous souhaitez changer.
Qu'est-ce que la ligne Content-Signal ?
Une convention émergente (promue par Cloudflare) qui déclare comment le contenu peut être utilisé : search=yes/no, ai-train=yes/no, ai-input=yes/no. Les crawlers commencent à la respecter comme une politique d'utilisation lisible par machine en plus des règles par bot. Ce générateur l'écrit pour correspondre aux choix que vous faites ci-dessus.
Où va le fichier ?
À la racine du domaine : votreboutique.com/robots.txt. Les moteurs de recherche ne vérifient que ce chemin exact. Sur Shopify, le modèle robots.txt.liquid gère le placement automatiquement ; sur d'autres plateformes, téléchargez-le à la racine du web.
Tous les outils gratuits
SEO Title Generator & Checker
Generate SEO titles from your keyword and check any title's character count, pixel width, and keyword position.
Meta Description Generator & SERP Preview
Generate high-converting meta descriptions and preview how your page looks in Google.
Keyword Density Checker
Paste any text and see keyword density, top 1–2–3-word phrases, and stuffing warnings.
LSI & Related Keyword Generator
Generate related keywords, question keywords, and commercial long-tails from any seed term.
Image Alt Text Generator & Checker
Build descriptive, SEO-friendly alt text for product images and check existing alt text for length, redundancy, and stuffing.
Googlebot Simulator — See What Google Sees
Fetch any URL with Googlebot's user agent: status code, redirects, title, meta robots, canonical, X-Robots-Tag, H1s, and an indexability verdict.
Schema markup generator
Generate valid JSON-LD schema free: Product, FAQPage, BreadcrumbList, LocalBusiness and Article.
Hreflang tag generator
Build a valid hreflang cluster for every language version of a page, with x-default, and a built-in check that every URL points back at every other one..
UTM builder
Build consistent UTM-tagged campaign URLs free.
URL slug generator
Turn any title into a clean, lowercase, hyphenated URL slug.
Readability checker
Paste text and get Flesch Reading Ease, Flesch-Kincaid grade level, sentence length distribution and the specific sentences that are dragging the score down..
SERP preview tool
Preview how a title, URL and meta description will render in Google on desktop and mobile, measured in pixels rather than characters so truncation is accurate..
SEO ROI calculator
Estimate what a ranking improvement is worth: search volume, position-based CTR, conversion rate and order value, plus a payback period on your SEO spend..
Open Graph generator
Generate Open Graph and Twitter card meta tags with a live preview of how the link will look when shared on Facebook, LinkedIn, X, WhatsApp and Slack..
SEO report generator
Generate an on-page SEO report for any URL: title and meta lengths, headings, canonical, schema types, image alt coverage, links and indexability, scored..
Guides associés
ai.txt vs llms.txt: Which File Do AI Crawlers Read?How to Get Indexed by LLMs Through an llms.txt Filellms.txt generator for Shopify (free): create oneShopify robots.txt: edit and fix it right
Run this across your whole catalog
RankEngine applies and verifies these fixes on every product in your Shopify store — automatically.
Install RankEngine free