Kort antwoord: robots.txt vertelt zoekmachines en AI-crawlers welke paden op je winkel ze mogen crawlen. Shopify biedt een verstandige standaard en laat je deze aanpassen met een robots.txt.liquid-sjabloon. De veelvoorkomende, kostbare fout is per ongeluk product- of collectiepagina's uitsluiten, waardoor ze worden gedeïndexeerd. Voor AI-zoekopdrachten moet je expliciet de crawlers toestaan die je wilt laten citeren — GPTBot, ClaudeBot, PerplexityBot en Google-Extended.

Je robots.txt vertelt zoekmachines en AI-crawlers wat ze mogen crawlen op je winkel. Op Shopify is het grotendeels automatisch, wat goed is — maar de standaardinstellingen veroorzaken twee terugkerende problemen, en de waarschuwing van Google "Geïndexeerd, maar geblokkeerd door robots.txt" brengt veel handelaren in de war, die het vervolgens erger maken door harder te blokkeren. Hier is hoe het bestand werkt op Shopify, hoe je het veilig kunt bewerken en hoe je de fouten die het veroorzaakt kunt oplossen.

Hoe Shopify robots.txt werkt

Shopify genereert het bestand automatisch op yourstore.com/robots.txt en biedt een verstandige standaard. Die standaard sluit al de interne paden uit die je nooit geïndexeerd wilt hebben — /cart, /checkout, /orders, /account, en Shopify's interne zoek- en filter-URL's — en wijst crawlers naar je sitemap. Voor veel winkels hoef je het nooit aan te raken.

Sinds 2021 kun je het aanpassen door een templates/robots.txt.liquid bestand aan je thema toe te voegen. Je maakt het in de themacode-editor: ga vanuit je beheer naar Online Store → Themes → [je thema] → ⋯ → Edit code, klik vervolgens onder de Templates-map op "Add a new template" en kies robots.txt uit het sjabloontype dropdown-menu. Shopify maakt de standaardregels als Liquid, en je bewerkt vanaf daar. Het bestand is Liquid, geen platte tekst, dus je wijzigt een sjabloon dat de regels weergeeft in plaats van ruwe richtlijnen te schrijven — wat je in staat stelt specifieke regels toe te voegen of te verwijderen terwijl je Shopify's verstandige standaardinstellingen intact houdt.

Twee waarschuwingen voordat je gaat bewerken. Ten eerste, dit bestand is krachtig in de verkeerde richting — een verdwaalde Disallow: / zou elke crawler vertellen je hele winkel te negeren, dus verander het bewust en controleer de weergegeven output op yourstore.com/robots.txt daarna. Ten tweede, robots.txt regelt het crawlen, niet het indexeren. Dat zijn verschillende dingen, en het verwarren ervan is de oorzaak van de meest voorkomende Shopify robots-fout.

Crawlen is niet indexeren

Een robots.txt Disallow-regel vertelt een crawler "haal deze URL niet op." Het vertelt Google niet "indexeer deze URL niet." Als Google een geblokkeerde URL via een link ergens ontdekt, kan het nog steeds de kale URL aan zijn index toevoegen — het kan de pagina alleen niet lezen om te zien wat erop staat. Het resultaat is een vermelding zonder nuttige titel of beschrijving, wat erger is dan de pagina correct indexeren of helemaal buiten houden.

Dat ene onderscheid verklaart de onderstaande waarschuwing, en het is waarom "gewoon blokkeren in robots.txt" de verkeerde oplossing is voor pagina's die je uit de zoekresultaten wilt houden.

Oplossen van "Geïndexeerd, maar geblokkeerd door robots.txt"

Deze Search Console-waarschuwing betekent dat Google een URL heeft gevonden, meestal via een link, maar deze niet kon crawlen omdat robots.txt het pad blokkeert — dus heeft het de URL zonder inhoud geïndexeerd. De oplossing hangt af van wat je met die URL wilt doen:

Als je wilt... Dan... Omdat...
De URL geïndexeerd houden en de vermelding herstellen Verwijder of versmal de Disallow-regel; vraag indexering aan in Search Console Google moet de pagina crawlen om de inhoud te zien en de vermelding bij te werken
De URL volledig uit de zoekresultaten verwijderen Deblokkeer de pagina, voeg dan een noindex meta-tag of X-Robots-Tag header toe Een crawler kan geen noindex-instructie lezen op een geblokkeerde pagina
  • Identificeer de exacte geblokkeerde URL in het Pagina's-rapport van Search Console onder deze status, en controleer deze tegen je robots.txt om de bijbehorende Disallow-regel te vinden.
  • Als het moet worden geïndexeerd — een echt product of collectie dat werd gevangen door een te brede regel — verwijder of versmal de Disallow-regel in robots.txt.liquid zodat Google het kan crawlen, vraag dan indexering aan. Zodra Google de pagina leest, verdwijnt de waarschuwing en krijgt de vermelding een juiste titel en beschrijving.
  • Als het niet moet worden geïndexeerd — een dunne filterpagina, een interne zoekresultaatpagina, een inlogpagina — vertrouw niet op blokkeren. Alleen blokkeren kan de kale URL voor altijd geïndexeerd laten. Laat Google in plaats daarvan de pagina crawlen en geef het een noindex-signaal dat het daadwerkelijk kan lezen: een noindex robots meta-tag in de paginamarkering, of een X-Robots-Tag noindex header. Tegenintuïtief moet je om een pagina uit de index te verwijderen deze vaak eerst deblokkeren zodat de crawler de noindex-instructie kan zien. Een geblokkeerde pagina is een pagina waarvan Google de noindex-tag nooit zal lezen.

Uitsluiten van zoek- en tagpagina's

Twee Shopify URL-patronen genereren bijna oneindig veel pagina's van lage waarde die je index kunnen opblazen: interne zoekresultaten (paden onder /search) en tag-gefilterde collectie-URL's (lange querystrings met ?constraint= of tagparameters). Shopify's standaardinstellingen behandelen veel hiervan, maar op aangepaste thema's en zwaar getagde catalogi kunnen deze door de mazen glippen en worden geïndexeerd als dunne, duplicatieve pagina's.

Als je ze geïndexeerd vindt en ze wilt verwijderen, pas dan de logica van crawlen versus indexeren hierboven toe. Het blokkeren van /search in robots.txt stopt nieuw crawlen maar verwijdert geen URL's die al zijn geïndexeerd; voor die URL's is een noindex-signaal op de zoek- en filtersjablonen de duurzame oplossing. Canonical tags helpen hier ook — het verwijzen van gefilterde collectievarianten naar de schone collectie-URL is vaak schoner dan blokkeren, en het wordt behandeld in de canonical tags gids. De afweging is of je de pagina oncrawlbaar of ongeïndexeerd wilt; ze vragen om tegenovergestelde hulpmiddelen.

AI-crawlers bewust toestaan

Om geciteerd te worden door AI-antwoormachines, moet je robots.txt de crawlers toestaan die die machines gebruiken — en veel winkels blokkeren ze per ongeluk, vaak via een CDN of beveiligingsinstelling in plaats van de keuze van de winkeleigenaar. De agents die het waard zijn om bij naam te kennen:

  • GPTBot en OAI-SearchBot — OpenAI's crawlers, de tweede specifiek voor ChatGPT's zoekcitaten.
  • ClaudeBot — de crawler van Anthropic.
  • Google-Extended — Google's controle voor AI-training en -gronding, apart van Googlebot.
  • PerplexityBot — de crawler van Perplexity.
  • CCBot — Common Crawl, dat veel downstream-modellen voedt.

Deze zijn verschillend van Googlebot en elk haalt op zijn eigen voorwaarden op. De snelste AEO-actie is bevestigen dat je robots.txt de crawlers die je wilt laten citeren niet blokkeert, en idealiter toestaan bij naam met een expliciete User-agent en Allow-blok in robots.txt.liquid. Ze stilletjes blokkeren sluit je winkel uit van AI-zichtbaarheid zonder ergens een foutmelding om je te waarschuwen. Dit is kern van answer engine optimization en het bredere generative engine optimization en AI visibility werk — en het past natuurlijk bij een goed llms.txt bestand, wat de bevestigende versie van hetzelfde idee is. Als je overweegt welke agents je moet toestaan, gaat de ChatGPT SEO gids dieper in op de crawlers van OpenAI specifiek.

Een snelle manier om je robots.txt te controleren

Open yourstore.com/robots.txt in een browser — dat is de weergegeven output die elke crawler ziet, en het is het bestand dat ertoe doet, niet je Liquid-sjabloon. Scan op elke Disallow: / op zichzelf (een volledige siteblokkering), voor AI-crawler user-agents die onder een Disallow zitten, en voor een Sitemap: regel die naar je echte sitemap.xml wijst. In Search Console vertelt het Pagina's-rapport je wat er daadwerkelijk gebeurt — hoeveel URL's onder "Geïndexeerd, maar geblokkeerd door robots.txt" vallen en welke dat zijn. Tussen het ruwe bestand en het Pagina's-rapport kun je zowel het beleid als de gevolgen ervan zien.

Robots.txt-hygiëne staat naast je sitemap, omleidingen, en schema markup als de crawlability-laag van Shopify SEO; de 2026 checklist en de Shopify SEO gids verbinden ze, en het Shopify SEO tools overzicht behandelt wat ze automatiseert.

RankEngine controleert je robots-beleid, markeert geblokkeerde-maar-geïndexeerde URL's uit je Search Console-gegevens, en kan een robots.txt.liquid publiceren met de juiste AI-crawler regels — en controleert het vervolgens tegen het live weergegeven bestand zodat je weet dat de wijziging daadwerkelijk is doorgevoerd in plaats van erop te vertrouwen dat het sjabloon is opgeslagen.