RankEngine簡単な答え: robots.txtは、検索エンジンやAIクローラーに対して、ストア内のどのパスをクロールしてよいかを指示します。Shopifyは合理的なデフォルトを提供し、robots.txt.liquidテンプレートでカスタマイズすることができます。よくある高コストのミスは、誤って商品やコレクションのパスを許可しないことです。AI検索のためには、GPTBot、ClaudeBot、PerplexityBot、Google-Extendedなど、引用されたいクローラーを明示的に許可してください。
あなたのrobots.txtは、検索エンジンやAIクローラーに対して、ストア内のどのパスをクロールしてよいかを指示します。Shopifyではほとんど自動で行われるため、これは良いことですが、デフォルト設定が原因で2つの問題が繰り返し発生します。また、Googleの「robots.txtでブロックされていますが、インデックスに登録されています」という警告は、多くのマーチャントを混乱させ、さらにブロックを強化してしまうことがあります。ここでは、Shopifyでのファイルの仕組み、安全に編集する方法、そしてそれが引き起こすエラーを修正する方法を説明します。
Shopifyのrobots.txtの仕組み
Shopifyは、yourstore.com/robots.txtでファイルを自動生成し、合理的なデフォルトを提供します。そのデフォルトは、インデックスに登録したくない内部パス（/cart、/checkout、/orders、/account、およびShopifyの内部検索とフィルタリングURL）をすでに許可しておらず、クローラーをsitemapに誘導します。多くのストアでは、これに触れる必要はありません。
2021年以降、テーマにtemplates/robots.txt.liquidファイルを追加することでカスタマイズが可能になりました。テーマコードエディタで作成します：管理画面からオンラインストア → テーマ → [あなたのテーマ] → ⋯ → コードを編集に進み、テンプレートフォルダで「新しいテンプレートを追加」をクリックし、テンプレートタイプのドロップダウンからrobots.txtを選択します。ShopifyはデフォルトのルールをLiquidとしてスキャフォールドし、そこから編集します。このファイルはプレーンテキストではなくLiquidなので、ルールを直接書くのではなく、テンプレートを修正することで、Shopifyの合理的なデフォルトを維持しながら特定のルールを追加または削除することができます。
編集する前に2つの注意点があります。まず、このファイルは誤った方向に強力です — 例えば、**Disallow: /**という一行があると、すべてのクローラーにストア全体を無視するよう指示してしまうので、意図的に変更し、変更後にyourstore.com/robots.txtでレンダリングされた出力を確認してください。次に、robots.txtはクロールを制御しますが、インデックスを制御するものではありません。これらは異なるものであり、それを混同することが最も一般的なShopifyのrobotsエラーの原因です。
クロールとインデックスは異なる
robots.txtのDisallowルールは、クローラーに「このURLを取得しないでください」と指示しますが、Googleに「このURLをインデックスしないでください」とは指示しません。Googleがどこかのリンクを通じてブロックされたURLを発見した場合、それをインデックスに追加することができますが、ページの内容を読むことはできません。その結果、役に立たないタイトルや説明のないリストが表示され、ページを適切にインデックスするか、完全に除外するよりも悪い結果になります。
この単一の違いが以下の警告を説明しており、検索から除外したいページに対して「robots.txtでブロックするだけ」というのが間違った修正である理由です。
「robots.txtでブロックされていますが、インデックスに登録されています」の修正
このSearch Consoleの警告は、Googleが通常リンクを通じてURLを発見したが、robots.txtがパスをブロックしているためクロールできなかったことを意味します。そのため、コンテンツのないURLをインデックスしました。この修正は、そのURLに対して何を望むかによって異なります：
| もしあなたが... | その場合... | 理由は... |
|---|---|---|
| URLをインデックスに残し、リストを修正したい場合 | Disallowルールを削除または狭め、Search Consoleでインデックスをリクエスト | Googleはページをクロールしてその内容を確認し、リストを更新する必要があります |
| 検索結果からURLを完全に削除したい場合 | ページのブロックを解除し、noindexメタタグまたはX-Robots-Tagヘッダーを追加 | クローラーはブロックされたページのnoindex指示を読むことができません |
- Search Consoleのページレポートでこのステータスの下にある正確なブロックされたURLを特定し、それをrobots.txtと照らし合わせて一致するDisallowルールを見つけます。
- インデックスされるべき場合 — 広範なルールに引っかかった実際の商品やコレクション — Googleがクロールできるようにrobots.txt.liquidでDisallowルールを削除または狭め、インデックスをリクエストします。Googleがページを読み込むと、警告がクリアされ、リストに適切なタイトルと説明が付きます。
- インデックスされるべきでない場合 — 薄いフィルターページ、内部検索結果、ログインページ — ブロックに頼らないでください。ブロックだけでは、裸のURLが永遠にインデックスされる可能性があります。代わりに、Googleにページをクロールさせ、実際に読むことができるnoindex信号を与えます：ページのマークアップにnoindexロボットメタタグを追加するか、X-Robots-Tag noindexヘッダーを使用します。逆説的に、インデックスからページを削除するには、まずブロックを解除してクローラーがnoindex指示を確認できるようにする必要があります。ブロックされたページは、Googleがnoindexタグを読むことができないページです。
検索とタグページの許可
2つのShopify URLパターンは、インデックスを膨らませる低価値のページをほぼ無限に生成します：内部検索結果（/search以下のパス）とタグでフィルタリングされたコレクションURL（**?constraint=**やタグパラメータを含む長いクエリ文字列）。Shopifyのデフォルトはこれらの多くを処理しますが、カスタマイズされたテーマやタグが多いカタログでは、これらが薄く重複したページとしてインデックスされることがあります。
それらがインデックスされていて削除したい場合は、上記のクロール対インデックスのロジックを適用します。robots.txtで/searchをブロックすると新たなクロールは停止しますが、すでにインデックスされたURLは削除されません。それらには、検索とフィルターテンプレートにnoindex信号を適用することが持続的な解決策です。カノニカルタグもここで役立ちます — フィルタリングされたコレクションのバリアントをクリーンなコレクションURLに戻すことは、ブロックするよりもクリーンなことが多く、カノニカルタグガイドでカバーされています。ページをクロール不可にするかインデックス不可にするかの判断は、逆のツールを必要とします。
AIクローラーを意図的に歓迎する
AI回答エンジンに引用されるためには、あなたのrobots.txtがそれらのエンジンが使用するクローラーを許可する必要があります — 多くのストアが、CDNやセキュリティ設定を通じて、しばしば意図せずにそれらをブロックしています。名前を知っておくべきエージェント：
- GPTBotとOAI-SearchBot — OpenAIのクローラー、2つ目は特にChatGPTの検索引用用。
- ClaudeBot — Anthropicのクローラー。
- Google-Extended — AIトレーニングとグラウンディング用のGoogleのコントロール、Googlebotとは別。
- PerplexityBot — Perplexityのクローラー。
- CCBot — 多くの下流モデルにフィードするCommon Crawl。
これらはGooglebotとは異なり、それぞれ独自の条件でフェッチします。最も迅速なAEOアクションは、あなたのrobots.txtが引用を望むものをブロックしていないことを確認し、理想的にはrobots.txt.liquidで明示的なUser-agentとAllowブロックを使用してそれらを許可することです。それらをブロックすると、エラーなしでAIの可視性からストアを静かに除外することになります。これは回答エンジン最適化や、より広範な生成エンジン最適化およびAI可視性の作業の核心であり、同じ考えの肯定的なバージョンである良いllms.txtファイルと自然に組み合わさります。どのエージェントを許可するかを検討している場合、ChatGPT SEOガイドは特にOpenAIのクローラーについて詳しく説明しています。
robots.txtを素早く確認する方法
ブラウザでyourstore.com/robots.txtを開きます — これはすべてのクローラーが見るレンダリングされた出力であり、重要なのはLiquidテンプレートではなくこのファイルです。単独のDisallow: /（全サイトブロック）、Disallowの下にあるAIクローラーのユーザーエージェント、そして実際のsitemap.xmlを指す**Sitemap:**行を確認します。Search Consoleのページレポートでは、実際に何が起こっているかを確認できます — 「robots.txtでブロックされていますが、インデックスに登録されています」の下にあるURLの数とそれらのURLを確認できます。生のファイルとページレポートの間で、ポリシーとその結果の両方を見ることができます。
robots.txtの衛生は、Shopify SEOのクロール可能性レイヤーとして、sitemap、リダイレクト、およびschemaマークアップと並んでいます；2026年チェックリストとShopify SEOガイドがそれらを結びつけ、Shopify SEOツールの概要がそれらを自動化するものをカバーしています。
RankEngineはあなたのrobotsポリシーを監査し、Search ConsoleデータからブロックされているがインデックスされているURLをフラグし、正しいAIクローラールールを持つrobots.txt.liquidを公開することができ、その後、テンプレートが保存されたと信じるのではなく、実際に変更が反映されたことを確認するためにライブレンダリングされたファイルと照らし合わせてチェックします。