RankEngineKort antwoord: kies je platform en hoe je wilt dat klassieke zoekopdrachten, AI-trainingsbots en AI-antwoordmachines worden behandeld — de generator schrijft een correcte robots.txt met regels per bot en een Content-Signal regel. Voor een winkel is het gebruikelijke juiste antwoord om alles toe te staan: het blokkeren van AI-crawlers verwijdert je uit de antwoorden die shoppers al lezen.
Gratis tool
Gratis Robots.txt Generator — AI Crawlers, Shopify & Meer
De beslissing die er echt toe doet in 2026
De oude robots.txt-vragen — blokkeer /cart, wijs naar de sitemap — zijn standaardoplossingen. De actuele beslissing betreft AI-toegang, en deze heeft twee delen die de meeste generators samenvoegen:
- Trainingscrawlers (GPTBot, ClaudeBot, CCBot, Google-Extended) verzamelen content om toekomstige modellen te trainen. Het blokkeren hiervan is een filosofische keuze met een commerciële kost: modellen die je winkel nooit lezen, kunnen deze niet uit het geheugen aanbevelen.
- Antwoord-engine crawlers (OAI-SearchBot, PerplexityBot, ChatGPT-User) halen pagina's live op om direct een vraag van een gebruiker te beantwoorden — vaak "wat moet ik kopen". Het blokkeren hiervan verwijdert je uit antwoorden op het exacte moment van koopintentie.
Voor een winkel is het bijna altijd juist om beide toe te staan: AI-antwoorden zijn een groeiend ontdekkingskanaal, en robots.txt is waar je óf zichtbaar bent óf verdwijnt. Uitgevers met licentiehefbomen hebben een andere afweging — maar productpagina's van een handelaar profiteren van elke engine die ze kan lezen. De volledige redenering staat in onze AI-zoekoptimalisatiegids en de Shopify robots.txt-gids.
Nog iets wat robots.txt niet kan doen: je citeerbaar maken. Dat vereist gestructureerde data, een llms.txt manifest, en content engines kunnen antwoorden daaruit halen — de laag die RankEngine automatiseert voor Shopify-winkels.
Veelgestelde vragen
Wat doet robots.txt eigenlijk?
Het vertelt crawlers welke paden ze mogen ophalen. Het verwijdert geen pagina's uit de index — een geblokkeerde URL kan nog steeds worden geïndexeerd via externe links, alleen zonder inhoud. Om een pagina uit de resultaten te houden, gebruik een noindex meta tag en laat crawlers deze zien. robots.txt is voor het beheren van crawltoegang, niet voor zichtbaarheid.
Moet ik AI-crawlers zoals GPTBot en ClaudeBot blokkeren?
Voor een online winkel meestal niet — het blokkeren van AI-crawlers maakt je producten onzichtbaar voor ChatGPT, Claude en Perplexity precies wanneer shoppers hen vragen wat ze moeten kopen. De genuanceerde stap die deze generator ondersteunt: onderscheid trainingscrawlers (GPTBot, CCBot) van antwoordmachine-crawlers (OAI-SearchBot, PerplexityBot) en bepaal elk beleid bewust.
Hoe bewerk ik robots.txt op Shopify?
Shopify levert een automatisch gegenereerde robots.txt die je niet direct kunt bewerken. Om het aan te passen, maak je de robots.txt.liquid template aan: Online Store → Themes → Edit code → Add a new template → robots.txt. Plak daar regels — de standaardinstellingen van Shopify (cart, checkout, admin blokkades) blijven tenzij je ze overschrijft, dus voeg alleen toe wat je wilt wijzigen.
Wat is de Content-Signal regel?
Een opkomende conventie (gepromoot door Cloudflare) die verklaart hoe inhoud mag worden gebruikt: search=yes/no, ai-train=yes/no, ai-input=yes/no. Crawlers beginnen het te respecteren als een machineleesbaar gebruiksbeleid naast per-bot regels. Deze generator schrijft het om overeen te komen met de keuzes die je hierboven maakt.
Waar moet het bestand geplaatst worden?
In de root van het domein: yourstore.com/robots.txt. Zoekmachines controleren alleen dat exacte pad. Op Shopify regelt de robots.txt.liquid template de plaatsing automatisch; op andere platforms upload je het naar de webroot.
Alle gratis tools
SEO Title Generator & Checker
Generate SEO titles from your keyword and check any title's character count, pixel width, and keyword position.
Meta Description Generator & SERP Preview
Generate high-converting meta descriptions and preview how your page looks in Google.
Keyword Density Checker
Paste any text and see keyword density, top 1–2–3-word phrases, and stuffing warnings.
LSI & Related Keyword Generator
Generate related keywords, question keywords, and commercial long-tails from any seed term.
Image Alt Text Generator & Checker
Build descriptive, SEO-friendly alt text for product images and check existing alt text for length, redundancy, and stuffing.
Googlebot Simulator — See What Google Sees
Fetch any URL with Googlebot's user agent: status code, redirects, title, meta robots, canonical, X-Robots-Tag, H1s, and an indexability verdict.
Schema markup generator
Generate valid JSON-LD schema free: Product, FAQPage, BreadcrumbList, LocalBusiness and Article.
Hreflang tag generator
Build a valid hreflang cluster for every language version of a page, with x-default, and a built-in check that every URL points back at every other one..
UTM builder
Build consistent UTM-tagged campaign URLs free.
URL slug generator
Turn any title into a clean, lowercase, hyphenated URL slug.
Readability checker
Paste text and get Flesch Reading Ease, Flesch-Kincaid grade level, sentence length distribution and the specific sentences that are dragging the score down..
SERP preview tool
Preview how a title, URL and meta description will render in Google on desktop and mobile, measured in pixels rather than characters so truncation is accurate..
SEO ROI calculator
Estimate what a ranking improvement is worth: search volume, position-based CTR, conversion rate and order value, plus a payback period on your SEO spend..
Open Graph generator
Generate Open Graph and Twitter card meta tags with a live preview of how the link will look when shared on Facebook, LinkedIn, X, WhatsApp and Slack..
SEO report generator
Generate an on-page SEO report for any URL: title and meta lengths, headings, canonical, schema types, image alt coverage, links and indexability, scored..
Gerelateerde gidsen
ai.txt vs llms.txt: Which File Do AI Crawlers Read?How to Get Indexed by LLMs Through an llms.txt Filellms.txt generator for Shopify (free): create oneShopify robots.txt: edit and fix it right
Run this across your whole catalog
RankEngine applies and verifies these fixes on every product in your Shopify store — automatically.
Install RankEngine free