RankEngineKurze Antwort: Wählen Sie Ihre Plattform und wie Sie klassische Suche, KI-Trainingsbots und KI-Antwortmaschinen behandeln möchten — der Generator erstellt eine korrekte robots.txt mit spezifischen Regeln pro Bot und einer Content-Signal-Zeile. Für einen Shop ist die übliche richtige Antwort, alles zuzulassen: Das Blockieren von KI-Crawlern entfernt Sie aus den Antworten, die Käufer bereits lesen.
Kostenloses Tool
Robots.txt Generator kostenlos — KI-Crawler, Shopify & mehr
Die Entscheidung, die 2026 wirklich zählt
Die alten robots.txt-Fragen — blockiere /cart, verweise auf die Sitemap — sind gelöste Standards. Die aktuelle Entscheidung betrifft den KI-Zugang und hat zwei Hälften, die die meisten Generatoren vermischen:
- Trainings-Crawler (GPTBot, ClaudeBot, CCBot, Google-Extended) sammeln Inhalte, um zukünftige Modelle zu trainieren. Sie zu blockieren ist eine philosophische Entscheidung mit kommerziellen Kosten: Modelle, die Ihren Shop nie gelesen haben, können ihn nicht aus dem Gedächtnis empfehlen.
- Antwortmaschinen-Crawler (OAI-SearchBot, PerplexityBot, ChatGPT-User) rufen Seiten live ab, um die Frage eines Nutzers sofort zu beantworten — oft "Was soll ich kaufen?". Diese zu blockieren, entfernt Sie aus den Antworten genau im Moment der Kaufabsicht.
Für einen Shop ist es fast immer richtig, beide zuzulassen: KI-Antworten sind ein wachsender Entdeckungskanal, und robots.txt ist der Ort, an dem Sie entweder sichtbar werden oder verschwinden. Verlage mit Lizenzierungshebeln stehen vor einer anderen Kalkulation — aber die Produktseiten eines Händlers profitieren von jeder Suchmaschine, die sie lesen kann. Die vollständige Begründung finden Sie in unserem Leitfaden zur KI-Suchoptimierung und im Shopify robots.txt-Leitfaden.
Eine weitere Sache, die robots.txt nicht leisten kann: Sie zitierbar machen. Dafür braucht es strukturierte Daten, ein llms.txt-Manifest, und Inhalte, aus denen Engines Antworten entnehmen können — die Ebene, die RankEngine für Shopify-Shops automatisiert.
Häufig gestellte Fragen
Was macht robots.txt eigentlich?
Es teilt Crawlern mit, welche Pfade sie abrufen dürfen. Es entfernt keine Seiten aus dem Index — eine blockierte URL kann über externe Links weiterhin indexiert werden, nur ohne Inhalt. Um eine Seite aus den Ergebnissen fernzuhalten, verwenden Sie ein noindex-Meta-Tag und lassen Sie Crawler sie sehen. robots.txt dient zur Verwaltung des Crawl-Zugriffs, nicht der Sichtbarkeit.
Sollte ich KI-Crawler wie GPTBot und ClaudeBot blockieren?
Für einen Online-Shop normalerweise nicht — das Blockieren von KI-Crawlern macht Ihre Produkte für ChatGPT, Claude und Perplexity unsichtbar, genau dann, wenn Käufer sie nach Kaufempfehlungen fragen. Der differenzierte Ansatz, den dieser Generator unterstützt: Unterscheiden Sie zwischen Trainings-Crawlern (GPTBot, CCBot) und Antwortmaschinen-Crawlern (OAI-SearchBot, PerplexityBot) und entscheiden Sie jede Richtlinie bewusst.
Wie bearbeite ich robots.txt auf Shopify?
Shopify liefert eine automatisch generierte robots.txt, die Sie nicht direkt bearbeiten können. Um sie anzupassen, erstellen Sie die robots.txt.liquid-Vorlage: Online-Shop → Themes → Code bearbeiten → Neue Vorlage hinzufügen → robots.txt. Fügen Sie dort Regeln ein — die Shopify-Standards (Warenkorb, Checkout, Admin-Sperren) bleiben bestehen, es sei denn, Sie überschreiben sie, also fügen Sie nur hinzu, was Sie ändern möchten.
Was ist die Content-Signal-Zeile?
Eine aufkommende Konvention (gefördert von Cloudflare), die erklärt, wie Inhalte verwendet werden dürfen: search=yes/no, ai-train=yes/no, ai-input=yes/no. Crawler beginnen, sie als maschinenlesbare Nutzungsrichtlinie neben den Regeln für einzelne Bots zu respektieren. Dieser Generator schreibt sie entsprechend den oben getroffenen Entscheidungen.
Wo kommt die Datei hin?
In das Stammverzeichnis der Domain: yourstore.com/robots.txt. Suchmaschinen prüfen nur diesen genauen Pfad. Auf Shopify übernimmt die robots.txt.liquid-Vorlage die Platzierung automatisch; auf anderen Plattformen laden Sie sie in das Web-Stammverzeichnis hoch.
Alle kostenlosen Tools
SEO Title Generator & Checker
Generate SEO titles from your keyword and check any title's character count, pixel width, and keyword position.
Meta Description Generator & SERP Preview
Generate high-converting meta descriptions and preview how your page looks in Google.
Keyword Density Checker
Paste any text and see keyword density, top 1–2–3-word phrases, and stuffing warnings.
LSI & Related Keyword Generator
Generate related keywords, question keywords, and commercial long-tails from any seed term.
Image Alt Text Generator & Checker
Build descriptive, SEO-friendly alt text for product images and check existing alt text for length, redundancy, and stuffing.
Googlebot Simulator — See What Google Sees
Fetch any URL with Googlebot's user agent: status code, redirects, title, meta robots, canonical, X-Robots-Tag, H1s, and an indexability verdict.
Schema markup generator
Generate valid JSON-LD schema free: Product, FAQPage, BreadcrumbList, LocalBusiness and Article.
Hreflang tag generator
Build a valid hreflang cluster for every language version of a page, with x-default, and a built-in check that every URL points back at every other one..
UTM builder
Build consistent UTM-tagged campaign URLs free.
URL slug generator
Turn any title into a clean, lowercase, hyphenated URL slug.
Readability checker
Paste text and get Flesch Reading Ease, Flesch-Kincaid grade level, sentence length distribution and the specific sentences that are dragging the score down..
SERP preview tool
Preview how a title, URL and meta description will render in Google on desktop and mobile, measured in pixels rather than characters so truncation is accurate..
SEO ROI calculator
Estimate what a ranking improvement is worth: search volume, position-based CTR, conversion rate and order value, plus a payback period on your SEO spend..
Open Graph generator
Generate Open Graph and Twitter card meta tags with a live preview of how the link will look when shared on Facebook, LinkedIn, X, WhatsApp and Slack..
SEO report generator
Generate an on-page SEO report for any URL: title and meta lengths, headings, canonical, schema types, image alt coverage, links and indexability, scored..
Verwandte Leitfäden
How to Get Indexed by LLMs Through an llms.txt Fileai.txt vs llms.txt: Which File Do AI Crawlers Read?llms.txt generator for Shopify (free): create oneShopify robots.txt: edit and fix it right
Run this across your whole catalog
RankEngine applies and verifies these fixes on every product in your Shopify store — automatically.
Install RankEngine free