無料のRobots.txtジェネレーター — AIクローラー、Shopify対応

クローラーにどのパスを取得できるかを指示します。インデックスからページを削除するわけではありません。ブロックされたURLでも外部リンクからインデックスされることがありますが、コンテンツは表示されません。検索結果からページを除外するには、noindexメタタグを使用し、クローラーがそれを見られるようにします。robots.txtはクロールアクセスの管理用であり、可視性の管理用ではありません。

オンラインストアの場合、通常はブロックしない方が良いです。AIクローラーをブロックすると、ChatGPT、Claude、Perplexityが商品を探しているときにあなたの製品が見えなくなります。このジェネレーターがサポートする微妙な対応策は、トレーニングクローラー（GPTBot、CCBot）と回答エンジンクローラー（OAI-SearchBot、PerplexityBot）を区別し、それぞれのポリシーを慎重に決定することです。

Shopifyは自動生成されたrobots.txtを提供しており、直接編集することはできません。カスタマイズするには、robots.txt.liquidテンプレートを作成します：オンラインストア → テーマ → コードを編集 → 新しいテンプレートを追加 → robots.txt。そこにルールを貼り付けます。Shopifyのデフォルト（カート、チェックアウト、管理ブロック）は上書きしない限り残るので、変更したい部分だけを追加してください。

Cloudflareが推進する新しい規約で、コンテンツの使用方法を宣言します：search=yes/no、ai-train=yes/no、ai-input=yes/no。クローラーはこれを機械可読の使用ポリシーとして、ボットごとのルールと共に尊重し始めています。このジェネレーターは、上記で選択した内容に合わせてこれを書き込みます。

ドメインのルートに配置します：yourstore.com/robots.txt。検索エンジンはその正確なパスのみを確認します。Shopifyではrobots.txt.liquidテンプレートが自動的に配置を処理します。他のプラットフォームではウェブルートにアップロードしてください。