Kort antwoord: robots.txt vertelt zoekmachines en AI-crawlers welke paden op je winkel ze mogen crawlen. Shopify biedt een verstandige standaard, en deze kan aangepast worden via een robots.txt.liquid sjabloon in het thema. De veelvoorkomende, kostbare fout is per ongeluk product- of collectiepagina's te blokkeren, waardoor ze gedeïndexeerd worden. Voor AI-zoekopdrachten, sta expliciet de crawlers toe die je geciteerd wilt hebben — GPTBot, ClaudeBot, PerplexityBot en Google-Extended.

Je robots.txt vertelt zoekmachines en AI-crawlers wat ze mogen crawlen op je winkel. Op Shopify is het grotendeels automatisch, wat goed is — maar de standaardinstellingen veroorzaken twee terugkerende problemen, en de Google-waarschuwing "Geïndexeerd, hoewel geblokkeerd door robots.txt" brengt veel handelaren in de war die het vervolgens erger maken door nog meer te blokkeren. Hier is hoe het bestand werkt op Shopify, hoe het veilig aangepast kan worden, en hoe je de fouten die het veroorzaakt kunt oplossen.

Hoe Shopify robots.txt werkt

Shopify genereert het bestand automatisch op yourstore.com/robots.txt en biedt een verstandige standaard. Die standaard blokkeert al de interne paden die je nooit geïndexeerd wilt hebben — /cart, /checkout, /orders, /account, en Shopify's interne zoek- en filter-URL's — en wijst crawlers naar je sitemap. Voor veel winkels hoef je het nooit aan te raken.

Sinds 2021 kan een thema een templates/robots.txt.liquid sjabloon bevatten dat het aanpast. Het sjabloon is Liquid, geen platte tekst: het rendert Shopify's standaardregels en laat specifieke regels toevoegen of verwijderen terwijl die standaarden intact blijven. Het is themacode, en je hoeft het zelf niet te openen. Een SEO-app kan de regels beheren die je waarschijnlijk wilt — RankEngine publiceert bijvoorbeeld zijn AI-crawler regels in dat sjabloon binnen zijn eigen gemarkeerde blok, bewaart het vorige bestand zodat de wijziging ongedaan kan worden gemaakt, en controleert daarna de live robots.txt. Voor elke andere aangepaste regel, vraag je themadeveloper.

Twee waarschuwingen voordat er iets verandert. Ten eerste, dit bestand is krachtig in de verkeerde richting — een verdwaalde Disallow: / zou elke crawler vertellen je hele winkel te negeren, dus elke wijziging moet opzettelijk zijn, en de gerenderde output op yourstore.com/robots.txt moet daarna gecontroleerd worden. Ten tweede, robots.txt regelt crawlen, niet indexeren. Dat zijn verschillende dingen, en het verwarren ervan is de oorzaak van de meest voorkomende Shopify robots-fout.

Crawlen is niet indexeren

Een robots.txt Disallow-regel vertelt een crawler "haal deze URL niet op." Het vertelt Google niet "indexeer deze URL niet." Als Google een geblokkeerde URL via een link ergens ontdekt, kan het nog steeds de kale URL aan zijn index toevoegen — het kan de pagina alleen niet lezen om te zien wat erop staat. Het resultaat is een vermelding zonder nuttige titel of beschrijving, wat erger is dan de pagina correct indexeren of helemaal buiten houden.

Dat ene onderscheid verklaart de onderstaande waarschuwing, en het is waarom "gewoon blokkeren in robots.txt" de verkeerde oplossing is voor pagina's die je uit de zoekresultaten wilt houden.

Oplossen van "Geïndexeerd, hoewel geblokkeerd door robots.txt"

Deze Search Console-waarschuwing betekent dat Google een URL heeft gevonden, meestal via een link, maar deze niet kon crawlen omdat robots.txt het pad blokkeert — dus heeft het de URL zonder inhoud geïndexeerd. De oplossing hangt af van wat je met die URL wilt doen:

Als je wilt... Dan... Omdat...
De URL geïndexeerd houden en de vermelding herstellen Verwijder of versmal de Disallow-regel; vraag indexering aan in Search Console Google moet de pagina crawlen om de inhoud te zien en de vermelding bij te werken
De URL volledig uit de zoekresultaten verwijderen Deblokkeer de pagina, voeg dan een noindex meta tag of X-Robots-Tag header toe Een crawler kan geen noindex-instructie lezen op een geblokkeerde pagina
  • Identificeer de exacte geblokkeerde URL in het Pagina's-rapport van Search Console onder deze status, en controleer deze tegen je robots.txt om de bijpassende Disallow-regel te vinden.
  • Als het geïndexeerd moet worden — een echt product of collectie dat gevangen is door een te brede regel — laat de Disallow-regel verwijderen of versmallen (door degene die het heeft toegevoegd: je themadeveloper of de app die het heeft geschreven) zodat Google het kan crawlen, en vraag dan indexering aan. Zodra Google de pagina leest, verdwijnt de waarschuwing en krijgt de vermelding een juiste titel en beschrijving.
  • Als het niet geïndexeerd moet worden — een dunne filterpagina, een interne zoekresultaat, een inlogpagina — vertrouw niet op blokkeren. Alleen blokkeren kan de kale URL voor altijd geïndexeerd laten. Laat Google in plaats daarvan de pagina crawlen en geef het een noindex signaal dat het daadwerkelijk kan lezen: een noindex robots meta tag in de paginamarkering, of een X-Robots-Tag noindex header. Tegenintuïtief, om een pagina uit de index te verwijderen moet je deze vaak eerst deblokkeren zodat de crawler de noindex-instructie kan zien. Een geblokkeerde pagina is een pagina waarvan Google de noindex-tag nooit zal lezen.

Zoek- en tagpagina's blokkeren

Twee Shopify URL-patronen genereren bijna oneindige pagina's van lage waarde die je index kunnen opblazen: interne zoekresultaten (paden onder /search) en tag-gefilterde collectie-URL's (lange querystrings met ?constraint= of tagparameters). Shopify's standaarden behandelen veel hiervan, maar op aangepaste thema's en zwaar getagde catalogi kunnen deze door de mazen glippen en als dunne, duplicatieve pagina's geïndexeerd worden.

Als je ze geïndexeerd vindt en ze wilt verwijderen, pas dan de crawl-versus-index logica hierboven toe. Het blokkeren van /search in robots.txt stopt nieuw crawlen maar verwijdert geen URL's die al geïndexeerd zijn; voor die, is een noindex-signaal op de zoek- en filtersjablonen de duurzame oplossing. Canonical tags helpen hier ook — het verwijzen van gefilterde collectievarianten terug naar de schone collectie-URL is vaak schoner dan blokkeren, en het wordt behandeld in de canonical tags gids. De afweging is of je de pagina oncrawlbaar of ongeïndexeerd wilt; ze vragen om tegenovergestelde tools.

AI-crawlers bewust toestaan

Om geciteerd te worden door AI-antwoordmachines, moet je robots.txt de crawlers toestaan die die machines gebruiken — en veel winkels blokkeren ze per ongeluk, vaak via een CDN of beveiligingsinstelling in plaats van de keuze van de winkeleigenaar. De agents die het waard zijn om bij naam te kennen:

  • GPTBot en OAI-SearchBot — OpenAI's crawlers, de tweede specifiek voor ChatGPT's zoekcitaten.
  • ClaudeBot — Anthropic's crawler.
  • Google-Extended — Google's controle voor AI-training en -gronding, apart van Googlebot.
  • PerplexityBot — Perplexity's crawler.
  • CCBot — Common Crawl, die veel downstream modellen voedt.

Deze zijn anders dan Googlebot en elk haalt op zijn eigen voorwaarden op. De snelste AEO-actie is bevestigen dat je robots.txt de crawlers die je wilt laten citeren niet blokkeert, en idealiter ze bij naam toestaan met een expliciete User-agent en Allow blok in robots.txt. Ze stilletjes blokkeren sluit je winkel uit van AI-zichtbaarheid zonder enige foutmelding om je te waarschuwen. Dit is kern van antwoordmachine optimalisatie en het bredere generatieve machine optimalisatie en AI-zichtbaarheid werk — en het past natuurlijk bij een goed llms.txt bestand, wat de bevestigende versie van hetzelfde idee is. Als je overweegt welke agents je wilt toestaan, gaat de ChatGPT SEO gids dieper in op OpenAI's crawlers specifiek.

Een snelle manier om je robots.txt te controleren

Open yourstore.com/robots.txt in een browser — dat is de gerenderde output die elke crawler ziet, en het is het bestand dat ertoe doet, niet je Liquid-sjabloon. Zoek naar een Disallow: / op zichzelf (een volledige siteblokkering), naar AI-crawler user-agents onder een Disallow, en naar een Sitemap: regel die naar je echte sitemap.xml wijst. In Search Console vertelt het Pagina's-rapport je wat er daadwerkelijk gebeurt — hoeveel URL's onder "Geïndexeerd, hoewel geblokkeerd door robots.txt" vallen en welke dat zijn. Tussen het ruwe bestand en het Pagina's-rapport kun je zowel het beleid als de gevolgen zien.

Robots.txt hygiëne staat naast je sitemap, omleidingen, en schema markup als de crawlbaarheid laag van Shopify SEO; de 2026 checklist en de Shopify SEO gids verbinden ze, en het Shopify SEO tools overzicht behandelt wat ze automatiseert.

RankEngine controleert je robotsbeleid, markeert geblokkeerde-maar-geïndexeerde URL's uit je Search Console-gegevens, en kan een robots.txt.liquid publiceren met de juiste AI-crawler regels — en controleert het dan tegen het live gerenderde bestand zodat je weet dat de wijziging daadwerkelijk is doorgevoerd in plaats van erop te vertrouwen dat het sjabloon is opgeslagen.