簡単な答え: robots.txtは、検索エンジンやAIクローラーに対して、ストア内のどのパスをクロールしてよいかを指示します。Shopifyは合理的なデフォルトを提供しており、テーマ内のrobots.txt.liquidテンプレートを通じてカスタマイズできます。よくある高コストのミスは、誤って商品やコレクションのパスを拒否してしまい、それらがインデックスから外れることです。AI検索のためには、GPTBot、ClaudeBot、PerplexityBot、Google-Extendedなど、引用されたいクローラーを明示的に許可してください。

あなたのrobots.txtは、検索エンジンやAIクローラーに対して、ストア内のどのパスをクロールしてよいかを指示します。Shopifyではほとんど自動で行われるため、これは良いことですが、デフォルト設定が原因で2つの問題が繰り返し発生します。そして、Googleの「robots.txtでブロックされていますがインデックスされています」という警告は、多くのマーチャントを混乱させ、さらに悪化させるためにブロックを強化してしまいます。ここでは、Shopifyでのファイルの動作、どのように安全に変更されるか、そしてそれが引き起こすエラーを修正する方法を説明します。

Shopifyのrobots.txtの仕組み

Shopifyはyourstore.com/robots.txtでファイルを自動生成し、合理的なデフォルトを提供します。そのデフォルトは、インデックスしたくない内部パス（/cart、/checkout、/orders、/account、およびShopifyの内部検索とフィルタリングURL）をすでに拒否し、クローラーをsitemapに誘導します。多くのストアでは、これに触れる必要はありません。

2021年以降、テーマにはtemplates/robots.txt.liquidテンプレートを持たせることができ、これをカスタマイズできます。このテンプレートはプレーンテキストではなくLiquidであり、Shopifyのデフォルトルールをレンダリングし、特定のルールを追加または削除しながらデフォルトを維持します。これはテーマコードであり、自分で開く必要はありません。SEOアプリは、最も必要とされるルールを管理できます。例えば、RankEngineはAIクローラーのルールをそのテンプレート内の独自のマークされたブロックに公開し、変更を元に戻せるように以前のファイルを保持し、ライブのrobots.txtを確認します。他のカスタムルールについては、テーマ開発者に依頼してください。

何かを変更する前に2つの注意点があります。まず、このファイルは間違った方向に強力です。例えば、**Disallow: /**という記述があると、すべてのクローラーにストア全体を無視するよう指示することになりますので、変更は意図的であるべきであり、変更後にはyourstore.com/robots.txtでレンダリングされた出力を確認する必要があります。次に、robots.txtはクロールを制御しますが、インデックスを制御するわけではありません。これらは異なるものであり、それを混同することが最も一般的なShopifyのrobotsエラーの原因です。

クロールとインデックスは異なる

robots.txtのDisallowルールは、クローラーに「このURLを取得しないでください」と指示しますが、Googleに「このURLをインデックスしないでください」とは指示しません。Googleがどこかのリンクを通じてブロックされたURLを発見した場合、それをインデックスに追加することができますが、ページの内容を読むことはできません。その結果、役に立たないタイトルや説明のないリストが生成され、ページを適切にインデックスするか、完全に除外するよりも悪い結果になります。

この単一の違いが以下の警告を説明しており、検索から除外したいページに対して「robots.txtでブロックするだけ」というのが間違った修正である理由です。

「robots.txtでブロックされていますがインデックスされています」を修正する

このSearch Consoleの警告は、GoogleがURLを発見したが、robots.txtがパスをブロックしているためにクロールできなかったことを意味します。そのため、コンテンツのないURLをインデックスしました。この修正は、そのURLに対して何を望むかによります。

もしあなたが... その場合... 理由は...
URLをインデックスに残し、リストを修正したい Disallowルールを削除または狭め、Search Consoleでインデックスを要求 Googleはページの内容を確認し、リストを更新する必要があります
URLを検索結果から完全に削除したい ページのブロックを解除し、noindexメタタグまたはX-Robots-Tagヘッダーを追加 クローラーはブロックされたページのnoindex指示を読むことができません
  • 正確なブロックされたURLを特定し、Search Consoleのページレポートでこのステータスの下にあるものを確認し、robots.txtと照らし合わせて一致するDisallowルールを見つけます。
  • インデックスされるべき場合 — 過度に広いルールに引っかかった実際の商品やコレクションの場合 — Disallowルールを削除または狭め（それを追加した人：テーマ開発者またはそれを書いたアプリによって）、Googleがクロールできるようにし、インデックスを要求します。Googleがページを読むと、警告がクリアされ、リストに適切なタイトルと説明が付きます。
  • インデックスされるべきでない場合 — 薄いフィルターページ、内部検索結果、ログインページ — ブロックに頼らないでください。ブロックだけでは、URLが永遠にインデックスされることがあります。代わりに、Googleにページをクロールさせ、実際に読むことができるnoindex信号を与えます：ページマークアップ内のnoindexロボットメタタグ、またはX-Robots-Tag noindexヘッダーです。逆説的に、インデックスからページを削除するには、まずクローラーがnoindex指示を見ることができるようにブロックを解除する必要があります。ブロックされたページは、Googleがnoindexタグを読むことができないページです。

検索とタグページの拒否

2つのShopify URLパターンは、インデックスを膨らませる低価値のページをほぼ無限に生成します：内部検索結果（/search以下のパス）とタグでフィルタリングされたコレクションURL（**?constraint=**やタグパラメータを含む長いクエリ文字列）。Shopifyのデフォルトはこれの多くを処理しますが、カスタマイズされたテーマやタグが多いカタログでは、これらが薄く重複したページとしてインデックスされることがあります。

それらがインデックスされているのを見つけて削除したい場合は、上記のクロール対インデックスのロジックを適用します。robots.txtで/searchをブロックすると新たなクロールは停止しますが、すでにインデックスされているURLは削除されません。それらには、検索とフィルターテンプレートにnoindex信号を適用することが持続的な修正です。カノニカルタグもここで役立ちます — フィルタリングされたコレクションのバリアントをクリーンなコレクションURLに戻すことは、ブロックするよりもクリーンなことが多く、カノニカルタグガイドでカバーされています。判断は、ページをクロール不可にするかインデックス不可にするかであり、それぞれに異なるツールが必要です。

AIクローラーを意図的に歓迎する

AI回答エンジンに引用されるためには、あなたのrobots.txtがそれらのエンジンが使用するクローラーを許可する必要があります — 多くのストアが誤ってそれらをブロックしており、しばしばCDNやセキュリティ設定を通じて、ストアオーナーの選択ではありません。名前を知っておく価値のあるエージェント：

  • GPTBotとOAI-SearchBot — OpenAIのクローラーで、2番目は特にChatGPTの検索引用用です。
  • ClaudeBot — Anthropicのクローラー。
  • Google-Extended — GoogleのAIトレーニングとグラウンディング用のコントロールで、Googlebotとは別です。
  • PerplexityBot — Perplexityのクローラー。
  • CCBot — 多くの下流モデルに供給するCommon Crawl。

これらはGooglebotとは異なり、それぞれが独自の条件でフェッチします。最も迅速なAEOアクションは、あなたのrobots.txtが引用を望むものをブロックしていないことを確認し、理想的にはrobots.txtに明示的なUser-agentとAllowブロックでそれらを許可することです。それらを静かにブロックすることは、エラーなしでAIの可視性からあなたのストアをオプトアウトさせます。これは回答エンジン最適化や、より広範な生成エンジン最適化およびAI可視性の作業の核心であり、良いllms.txtファイルと自然に組み合わさります。どのエージェントを許可するかを検討している場合、ChatGPT SEOガイドは特にOpenAIのクローラーについて詳しく説明しています。

robots.txtを素早く確認する方法

ブラウザでyourstore.com/robots.txtを開きます — それがすべてのクローラーが見るレンダリングされた出力であり、重要なのはLiquidテンプレートではなくこのファイルです。**Disallow: /**が単独で存在するか（全サイトブロック）、AIクローラーのユーザーエージェントがDisallowの下にあるか、**Sitemap:**行が実際のsitemap.xmlを指しているかを確認します。Search Consoleでは、ページレポートが実際に何が起こっているかを教えてくれます — 「robots.txtでブロックされていますがインデックスされています」の下に何件のURLがあるか、どのURLかを確認できます。生のファイルとページレポートの間で、ポリシーとその結果の両方を見ることができます。

robots.txtの衛生は、Shopify SEOのクロール可能性レイヤーとして、sitemap、リダイレクト、スキーママークアップと並んでいます。2026年チェックリストとShopify SEOガイドがそれらを結びつけ、Shopify SEOツールの概要がそれらを自動化するものをカバーしています。

RankEngineはあなたのrobotsポリシーを監査し、Search ConsoleデータからブロックされているがインデックスされているURLをフラグし、正しいAIクローラールールを持つrobots.txt.liquidを公開することができ、その後ライブレンダリングファイルと照らし合わせて変更が実際に反映されたことを確認します。