RankEngineKurze Antwort: Wählen Sie Ihre Plattform und wie Sie klassische Suche, KI-Trainingsbots und KI-Antwortmaschinen behandeln möchten — der Generator erstellt eine korrekte robots.txt mit spezifischen Regeln pro Bot und einer Content-Signal-Zeile. Für einen Shop ist die übliche richtige Antwort, alles zuzulassen: Das Blockieren von KI-Crawlern entfernt Sie aus den Antworten, die Käufer bereits lesen.
Kostenloses Tool
Robots.txt Generator kostenlos — KI-Crawler, Shopify & mehr
Die Entscheidung, die 2026 wirklich zählt
Die alten robots.txt-Fragen — blockiere /cart, verweise auf die Sitemap — sind gelöste Standards. Die aktuelle Entscheidung betrifft den KI-Zugang und hat zwei Hälften, die die meisten Generatoren vermischen:
- Trainings-Crawler (GPTBot, ClaudeBot, CCBot, Google-Extended) sammeln Inhalte, um zukünftige Modelle zu trainieren. Sie zu blockieren ist eine philosophische Entscheidung mit kommerziellen Kosten: Modelle, die Ihren Shop nie gelesen haben, können ihn nicht aus dem Gedächtnis empfehlen.
- Antwortmaschinen-Crawler (OAI-SearchBot, PerplexityBot, ChatGPT-User) rufen Seiten live ab, um die Frage eines Nutzers sofort zu beantworten — oft "Was soll ich kaufen?". Diese zu blockieren, entfernt Sie aus den Antworten genau im Moment der Kaufabsicht.
Für einen Shop ist es fast immer richtig, beide zuzulassen: KI-Antworten sind ein wachsender Entdeckungskanal, und robots.txt ist der Ort, an dem Sie entweder sichtbar werden oder verschwinden. Verlage mit Lizenzierungshebeln stehen vor einer anderen Kalkulation — aber die Produktseiten eines Händlers profitieren von jeder Suchmaschine, die sie lesen kann. Die vollständige Begründung finden Sie in unserem Leitfaden zur KI-Suchoptimierung und im Shopify robots.txt-Leitfaden.
Eine weitere Sache, die robots.txt nicht leisten kann: Sie zitierbar machen. Dafür braucht es strukturierte Daten, ein llms.txt-Manifest, und Inhalte, aus denen Engines Antworten entnehmen können — die Ebene, die RankEngine für Shopify-Shops automatisiert.
Häufig gestellte Fragen
Was macht robots.txt eigentlich?
Es teilt Crawlern mit, welche Pfade sie abrufen dürfen. Es entfernt keine Seiten aus dem Index — eine blockierte URL kann immer noch über externe Links indexiert werden, nur ohne Inhalt. Um eine Seite aus den Ergebnissen fernzuhalten, verwenden Sie ein noindex-Meta-Tag und lassen Sie Crawler es sehen. robots.txt dient der Verwaltung des Crawl-Zugriffs, nicht der Sichtbarkeit.
Sollte ich KI-Crawler wie GPTBot und ClaudeBot blockieren?
Für einen Online-Shop normalerweise nicht — das Blockieren von KI-Crawlern macht Ihre Produkte für ChatGPT, Claude und Perplexity unsichtbar, genau dann, wenn Käufer sie fragen, was sie kaufen sollen. Der differenzierte Ansatz, den dieser Generator unterstützt: Unterscheiden Sie zwischen Trainings-Crawlern (GPTBot, CCBot) und Antwortmaschinen-Crawlern (OAI-SearchBot, PerplexityBot) und entscheiden Sie jede Richtlinie bewusst.
Wie bearbeite ich robots.txt auf Shopify?
Shopify stellt eine automatisch generierte robots.txt bereit, die Sie nicht direkt bearbeiten können. Sie wird über eine robots.txt.liquid-Vorlage im Theme angepasst, die die Standardregeln von Shopify (cart, checkout, admin) beibehält, solange die Vorlage sie noch rendert — so wird nur das hinzugefügt, was Sie ändern möchten. Diese Vorlage ist Theme-Code: Übergeben Sie die Regeln Ihrem Theme-Entwickler oder verwenden Sie eine SEO-App, die sie verwaltet — RankEngine veröffentlicht dort seine KI-Crawler-Regeln für Sie.
Was ist die Content-Signal-Zeile?
Eine aufkommende Konvention (gefördert von Cloudflare), die erklärt, wie Inhalte verwendet werden dürfen: search=yes/no, ai-train=yes/no, ai-input=yes/no. Crawler beginnen, sie als maschinenlesbare Nutzungsrichtlinie neben den Regeln für einzelne Bots zu respektieren. Dieser Generator schreibt sie entsprechend den oben getroffenen Entscheidungen.
Wo kommt die Datei hin?
In das Stammverzeichnis der Domain: yourstore.com/robots.txt. Suchmaschinen prüfen nur diesen genauen Pfad. Auf Shopify übernimmt die robots.txt.liquid-Vorlage die Platzierung automatisch; auf anderen Plattformen laden Sie sie in das Web-Stammverzeichnis hoch.
Alle kostenlosen Tools
SEO Title Generator & Checker
Generate SEO titles from your keyword and check any title's character count, pixel width, and keyword position.
Meta Description Generator & SERP Preview
Generate high-converting meta descriptions and preview how your page looks in Google.
Keyword Density Checker
Paste any text and see keyword density, top 1–2–3-word phrases, and stuffing warnings.
LSI & Related Keyword Generator
Generate related keywords, question keywords, and commercial long-tails from any seed term.
Image Alt Text Generator & Checker
Build descriptive, SEO-friendly alt text for product images and check existing alt text for length, redundancy, and stuffing.
Googlebot Simulator — See What Google Sees
Fetch any URL with Googlebot's user agent: status code, redirects, title, meta robots, canonical, X-Robots-Tag, H1s, and an indexability verdict.
Schema markup generator
Generate valid JSON-LD schema free: Product, FAQPage, BreadcrumbList, LocalBusiness and Article.
Hreflang tag generator
Build a valid hreflang cluster for every language version of a page, with x-default, and a built-in check that every URL points back at every other one..
UTM builder
Build consistent UTM-tagged campaign URLs free.
URL slug generator
Turn any title into a clean, lowercase, hyphenated URL slug.
Readability checker
Paste text and get Flesch Reading Ease, Flesch-Kincaid grade level, sentence length distribution and the specific sentences that are dragging the score down..
SERP preview tool
Preview how a title, URL and meta description will render in Google on desktop and mobile, measured in pixels rather than characters so truncation is accurate..
SEO ROI calculator
Estimate what a ranking improvement is worth: search volume, position-based CTR, conversion rate and order value, plus a payback period on your SEO spend..
Open Graph generator
Generate Open Graph and Twitter card meta tags with a live preview of how the link will look when shared on Facebook, LinkedIn, X, WhatsApp and Slack..
SEO report generator
Generate an on-page SEO report for any URL: title and meta lengths, headings, canonical, schema types, image alt coverage, links and indexability, scored..
Redirect checker
Follow any URL hop by hop: every status code, every intermediate URL, and the page that finally answers.
Robots.txt tester
Fetch any site robots.txt and test a path against Googlebot, Bingbot, GPTBot, ClaudeBot and PerplexityBot.
Sitemap checker
Fetch any XML sitemap or index and check it: URL count against the 50,000 limit, lastmod coverage and honesty, size and reachability..
HTTP header checker
Fetch any URL as Googlebot and read the full response headers, with the SEO-relevant ones called out: X-Robots-Tag, Cache-Control, Content-Type, Vary and HSTS..
AI visibility checker
Check what AI answer engines may do with a site: GPTBot, ClaudeBot, PerplexityBot and Google-Extended rules, llms.txt, and whether pages are quotable..
hreflang checker
Read the hreflang cluster on any page: every declared alternate, whether the page includes itself, whether x-default is present, and whether the codes are valid..
Canonical checker
Check the canonical on any URL: present or missing, self-referencing or pointing elsewhere, and whether a redirect or noindex contradicts it..
Heading structure checker
Check the heading structure of any page: how many H1s, whether levels are skipped, and how many sections a reader or an answer engine can actually navigate..
Indexability checker
One verdict from every signal that decides it: status code, robots meta, X-Robots-Tag, canonical target, redirect chain and whether the HTML has content at all..
Verwandte Leitfäden
How to Get Indexed by LLMs Through an llms.txt Fileai.txt vs llms.txt: Which File Do AI Crawlers Read?What Is a Robots.txt File and How Crawlers Use Itllms.txt generator for Shopify (free): create one
Run this across your whole catalog
RankEngine applies and verifies these fixes on every product in your Shopify store — automatically.
Start a 3-day free trial