Kurze Antwort: robots.txt teilt Suchmaschinen und AI-Crawlern mit, welche Pfade in Ihrem Shop sie durchsuchen dürfen. Shopify bietet eine sinnvolle Standardeinstellung, die über eine robots.txt.liquid-Vorlage im Theme angepasst werden kann. Der häufige, kostspielige Fehler besteht darin, versehentlich Produkt- oder Kollektionspfade zu blockieren, was sie aus dem Index entfernt. Für AI-Suchen sollten Sie die Crawler, von denen Sie zitiert werden möchten, explizit zulassen — GPTBot, ClaudeBot, PerplexityBot und Google-Extended.

Ihre robots.txt teilt Suchmaschinen und AI-Crawlern mit, was sie in Ihrem Shop durchsuchen dürfen. Bei Shopify ist dies größtenteils automatisch, was gut ist — aber die Standardeinstellungen verursachen zwei wiederkehrende Probleme, und die Google-Warnung "Indexiert, obwohl durch robots.txt blockiert" bringt viele Händler durcheinander, die es dann durch härteres Blockieren noch schlimmer machen. Hier erfahren Sie, wie die Datei bei Shopify funktioniert, wie sie sicher geändert wird und wie Sie die dadurch verursachten Fehler beheben können.

Wie Shopify robots.txt funktioniert

Shopify generiert die Datei automatisch unter yourstore.com/robots.txt und bietet eine sinnvolle Standardeinstellung. Diese Standardeinstellung blockiert bereits die internen Pfade, die Sie niemals indexiert haben möchten — /cart, /checkout, /orders, /account und die internen Such- und Filter-URLs von Shopify — und verweist Crawler auf Ihre Sitemap. Für viele Shops müssen Sie sie nie anfassen.

Seit 2021 kann ein Theme eine templates/robots.txt.liquid-Vorlage enthalten, die sie anpasst. Die Vorlage ist Liquid, kein reiner Text: Sie rendert die Standardregeln von Shopify und ermöglicht es, spezifische Regeln hinzuzufügen oder zu entfernen, während diese Standards intakt bleiben. Es ist Theme-Code, und Sie müssen ihn nicht selbst öffnen. Eine SEO-App kann die Regeln verwalten, die Sie am ehesten benötigen — RankEngine zum Beispiel veröffentlicht seine AI-Crawler-Regeln in dieser Vorlage innerhalb eines eigenen markierten Blocks, behält die vorherige Datei, damit die Änderung rückgängig gemacht werden kann, und überprüft anschließend die live robots.txt. Für jede andere benutzerdefinierte Regel fragen Sie Ihren Theme-Entwickler.

Zwei Warnungen, bevor sich etwas ändert. Erstens, diese Datei ist in die falsche Richtung mächtig — ein versehentliches Disallow: / würde jedem Crawler sagen, Ihren gesamten Shop zu ignorieren, daher sollte jede Änderung bewusst sein, und die gerenderte Ausgabe unter yourstore.com/robots.txt sollte danach überprüft werden. Zweitens, robots.txt steuert das Crawlen, nicht das Indexieren. Das sind unterschiedliche Dinge, und sie zu verwechseln ist die Ursache des häufigsten Shopify-robots-Fehlers.

Crawlen ist nicht Indexieren

Eine robots.txt-Disallow-Regel sagt einem Crawler "rufe diese URL nicht ab." Sie sagt Google nicht "indexiere diese URL nicht." Wenn Google eine blockierte URL über einen Link irgendwo entdeckt, kann es die nackte URL trotzdem seinem Index hinzufügen — es kann die Seite nur nicht lesen, um zu sehen, was darauf ist. Das Ergebnis ist ein Eintrag ohne nützlichen Titel oder Beschreibung, was schlimmer ist, als die Seite entweder richtig zu indexieren oder sie ganz draußen zu halten.

Diese einzelne Unterscheidung erklärt die folgende Warnung und warum "einfach in robots.txt blockieren" die falsche Lösung für Seiten ist, die Sie aus der Suche heraushalten möchten.

Behebung von "Indexiert, obwohl durch robots.txt blockiert"

Diese Search Console-Warnung bedeutet, dass Google eine URL gefunden hat, normalerweise über einen Link, sie aber nicht crawlen konnte, weil robots.txt den Pfad blockiert — also hat es die URL ohne Inhalt indexiert. Die Lösung hängt davon ab, was mit dieser URL geschehen soll:

Wenn Sie möchten, dass... Dann... Weil...
Die URL indexiert bleibt und der Eintrag korrigiert wird Entfernen oder verengen Sie die Disallow-Regel; fordern Sie die Indexierung in der Search Console an Google muss die Seite crawlen, um ihren Inhalt zu sehen und den Eintrag zu aktualisieren
Die URL vollständig aus den Suchergebnissen entfernt wird Entsperren Sie die Seite, fügen Sie dann ein noindex-Meta-Tag oder einen X-Robots-Tag-Header hinzu Ein Crawler kann eine noindex-Anweisung auf einer blockierten Seite nicht lesen
  • Identifizieren Sie die genau blockierte URL im Seitenbericht der Search Console unter diesem Status und überprüfen Sie sie gegen Ihre robots.txt, um die passende Disallow-Regel zu finden.
  • Wenn sie indexiert werden sollte — ein echtes Produkt oder eine Kollektion, die durch eine zu breite Regel erfasst wurde — lassen Sie die Disallow-Regel entfernen oder verengen (von demjenigen, der sie hinzugefügt hat: Ihrem Theme-Entwickler oder der App, die sie geschrieben hat), damit Google sie crawlen kann, und fordern Sie dann die Indexierung an. Sobald Google die Seite liest, verschwindet die Warnung und der Eintrag erhält einen ordentlichen Titel und eine Beschreibung.
  • Wenn sie nicht indexiert werden sollte — eine dünne Filterseite, ein internes Suchergebnis, eine Login-Seite — verlassen Sie sich nicht auf das Blockieren. Allein das Blockieren kann die nackte URL für immer im Index lassen. Lassen Sie stattdessen Google die Seite crawlen und geben Sie ihr ein noindex-Signal, das es tatsächlich lesen kann: ein noindex-Robots-Meta-Tag im Seitenmarkup oder einen X-Robots-Tag-noindex-Header. Paradoxerweise müssen Sie, um eine Seite aus dem Index zu entfernen, sie oft zuerst entsperren, damit der Crawler die noindex-Anweisung sehen kann. Eine blockierte Seite ist eine Seite, deren noindex-Tag Google niemals lesen wird.

Blockieren von Such- und Tag-Seiten

Zwei Shopify-URL-Muster erzeugen nahezu unendliche Seiten mit geringem Wert, die Ihren Index aufblähen können: interne Suchergebnisse (Pfade unter /search) und tag-gefilterte Kollektions-URLs (lange Abfragezeichenfolgen mit ?constraint= oder Tag-Parametern). Die Standardeinstellungen von Shopify behandeln einen Großteil davon, aber bei angepassten Themes und stark getaggten Katalogen können diese durchrutschen und als dünne, doppelte Seiten indexiert werden.

Wenn Sie sie indexiert finden und entfernen möchten, wenden Sie die oben beschriebene Logik zum Crawlen versus Indexieren an. Das Blockieren von /search in robots.txt stoppt das erneute Crawlen, entfernt jedoch keine bereits indexierten URLs; für diese ist ein noindex-Signal auf den Such- und Filtervorlagen die dauerhafte Lösung. Auch kanonische Tags helfen hier — das Verweisen von gefilterten Kollektionsvarianten zurück auf die saubere Kollektions-URL ist oft sauberer als das Blockieren, und es wird im Leitfaden zu kanonischen Tags behandelt. Die Entscheidung ist, ob Sie die Seite nicht durchsuchbar oder nicht indexierbar haben möchten; sie erfordern gegensätzliche Werkzeuge.

AI-Crawler bewusst zulassen

Um von AI-Antwortmaschinen zitiert zu werden, muss Ihre robots.txt die Crawler zulassen, die diese Maschinen verwenden — und viele Shops blockieren sie versehentlich, oft durch ein CDN oder eine Sicherheitseinstellung statt durch die Wahl des Shop-Besitzers. Die Agenten, die es wert sind, namentlich bekannt zu sein:

  • GPTBot und OAI-SearchBot — OpenAIs Crawler, der zweite speziell für die Suchzitate von ChatGPT.
  • ClaudeBot — Anthropics Crawler.
  • Google-Extended — Googles Kontrolle für AI-Training und -Verankerung, getrennt von Googlebot.
  • PerplexityBot — Perplexitys Crawler.
  • CCBot — Common Crawl, das viele nachgelagerte Modelle speist.

Diese sind von Googlebot getrennt und jeder holt auf seine eigenen Bedingungen ab. Die schnellste AEO-Maßnahme ist, zu bestätigen, dass Ihre robots.txt die nicht blockiert, die Sie zitieren möchten, und idealerweise sie namentlich mit einem expliziten User-agent und Allow-Block in robots.txt zuzulassen. Sie stillschweigend zu blockieren, schließt Ihren Shop von der AI-Sichtbarkeit aus, ohne dass irgendwo ein Fehler Sie warnt. Dies ist zentral für Antwortmaschinenoptimierung und die breitere generative Maschinenoptimierung und AI-Sichtbarkeitsarbeit — und es passt natürlich zu einer guten llms.txt-Datei, die die affirmative Version derselben Idee ist. Wenn Sie abwägen, welche Agenten Sie zulassen möchten, geht der ChatGPT-SEO-Leitfaden speziell auf die Crawler von OpenAI ein.

Eine schnelle Möglichkeit, Ihre robots.txt zu überprüfen

Öffnen Sie yourstore.com/robots.txt in einem Browser — das ist die gerenderte Ausgabe, die jeder Crawler sieht, und es ist die Datei, die zählt, nicht Ihre Liquid-Vorlage. Suchen Sie nach einem Disallow: / alleinstehend (eine vollständige Site-Blockierung), nach AI-Crawler-Benutzeragenten, die unter einem Disallow stehen, und nach einer Sitemap:-Zeile, die auf Ihre echte sitemap.xml verweist. In der Search Console zeigt Ihnen der Seitenbericht, was tatsächlich passiert — wie viele URLs unter "Indexiert, obwohl durch robots.txt blockiert" stehen und welche. Zwischen der Rohdatei und dem Seitenbericht können Sie sowohl die Richtlinie als auch ihre Konsequenzen sehen.

Die Hygiene von robots.txt steht neben Ihrer Sitemap, Weiterleitungen und Schema-Markup als die Durchsuchbarkeitsschicht von Shopify SEO; die 2026-Checkliste und der Shopify-SEO-Leitfaden verbinden sie, und die Shopify-SEO-Tools-Übersicht behandelt, was sie automatisiert.

RankEngine prüft Ihre robots-Richtlinie, markiert blockierte, aber indexierte URLs aus Ihren Search Console-Daten und kann eine robots.txt.liquid mit den richtigen AI-Crawler-Regeln veröffentlichen — dann überprüft es sie gegen die live gerenderte Datei, damit Sie wissen, dass die Änderung tatsächlich übernommen wurde, anstatt darauf zu vertrauen, dass die Vorlage gespeichert wurde.