RankEngine簡単な答え: プラットフォームを選び、クラシック検索、AIトレーニングボット、AI回答エンジンの扱い方を決めてください。ジェネレーターが各ボットのルールとContent-Signal行を含む正しいrobots.txtを作成します。ストアの場合、通常の正解はすべてを許可することです。AIクローラーをブロックすると、すでに買い物客が読んでいる回答から除外されてしまいます。
無料ツール
無料のRobots.txtジェネレーター — AIクローラー、Shopify対応
2026年に本当に重要な決断
古いrobots.txtの質問 — /cartをブロックする、sitemapを指す — は既に解決されたデフォルトです。現在の重要な決定はAIアクセスであり、多くの生成器が混同している2つの側面があります。
- トレーニングクローラー（GPTBot、ClaudeBot、CCBot、Google-Extended）は、将来のモデルをトレーニングするためにコンテンツを収集します。これをブロックすることは、商業的なコストを伴う哲学的な立場です。あなたのストアを読んだことのないモデルは、記憶からそれを推薦することができません。
- アンサーエンジンクローラー（OAI-SearchBot、PerplexityBot、ChatGPT-User）は、ユーザーの質問に今すぐ答えるためにページをライブで取得します — 多くの場合「何を買うべきか」です。これをブロックすると、購入意図の正確な瞬間に回答から外れてしまいます。
ストアにとって、両方を許可することがほぼ常に正解です。AIの回答は成長する発見チャネルであり、robots.txtはあなたが表示されるか消えるかの場所です。ライセンスの交渉力を持つ出版社は異なる計算をしますが、商人の製品ページはそれを読むことができるすべてのエンジンから利益を得ます。完全な理由は、私たちのAI検索最適化ガイドとShopify robots.txtガイドにあります。
robots.txtでできないもう一つのこと：あなたを引用可能にすることです。それには構造化データ、llms.txtマニフェスト、そしてコンテンツエンジンが回答を引き出せる層が必要です — これはRankEngineがShopifyストアのために自動化します。
よくある質問
robots.txtは実際に何をするのですか？
クローラーにどのパスを取得できるかを指示します。インデックスからページを削除するわけではありません。ブロックされたURLでも外部リンクからインデックスされることがありますが、コンテンツは表示されません。検索結果からページを除外するには、noindexメタタグを使用し、クローラーがそれを見られるようにします。robots.txtはクロールアクセスの管理用であり、可視性の管理用ではありません。
GPTBotやClaudeBotのようなAIクローラーをブロックすべきですか？
オンラインストアの場合、通常はブロックしない方が良いです。AIクローラーをブロックすると、ChatGPT、Claude、Perplexityが商品を探しているときにあなたの製品が見えなくなります。このジェネレーターがサポートする微妙な対応策は、トレーニングクローラー（GPTBot、CCBot）と回答エンジンクローラー（OAI-SearchBot、PerplexityBot）を区別し、それぞれのポリシーを慎重に決定することです。
Shopifyでrobots.txtを編集するにはどうすればいいですか？
Shopifyは自動生成されたrobots.txtを提供しており、直接編集することはできません。カスタマイズするには、robots.txt.liquidテンプレートを作成します：オンラインストア → テーマ → コードを編集 → 新しいテンプレートを追加 → robots.txt。そこにルールを貼り付けます。Shopifyのデフォルト（カート、チェックアウト、管理ブロック）は上書きしない限り残るので、変更したい部分だけを追加してください。
Content-Signalラインとは何ですか？
Cloudflareが推進する新しい規約で、コンテンツの使用方法を宣言します：search=yes/no、ai-train=yes/no、ai-input=yes/no。クローラーはこれを機械可読の使用ポリシーとして、ボットごとのルールと共に尊重し始めています。このジェネレーターは、上記で選択した内容に合わせてこれを書き込みます。
ファイルはどこに配置しますか？
ドメインのルートに配置します：yourstore.com/robots.txt。検索エンジンはその正確なパスのみを確認します。Shopifyではrobots.txt.liquidテンプレートが自動的に配置を処理します。他のプラットフォームではウェブルートにアップロードしてください。
すべての無料ツール
SEO Title Generator & Checker
Generate SEO titles from your keyword and check any title's character count, pixel width, and keyword position.
Meta Description Generator & SERP Preview
Generate high-converting meta descriptions and preview how your page looks in Google.
Keyword Density Checker
Paste any text and see keyword density, top 1–2–3-word phrases, and stuffing warnings.
LSI & Related Keyword Generator
Generate related keywords, question keywords, and commercial long-tails from any seed term.
Image Alt Text Generator & Checker
Build descriptive, SEO-friendly alt text for product images and check existing alt text for length, redundancy, and stuffing.
Googlebot Simulator — See What Google Sees
Fetch any URL with Googlebot's user agent: status code, redirects, title, meta robots, canonical, X-Robots-Tag, H1s, and an indexability verdict.
Schema markup generator
Generate valid JSON-LD schema free: Product, FAQPage, BreadcrumbList, LocalBusiness and Article.
Hreflang tag generator
Build a valid hreflang cluster for every language version of a page, with x-default, and a built-in check that every URL points back at every other one..
UTM builder
Build consistent UTM-tagged campaign URLs free.
URL slug generator
Turn any title into a clean, lowercase, hyphenated URL slug.
Readability checker
Paste text and get Flesch Reading Ease, Flesch-Kincaid grade level, sentence length distribution and the specific sentences that are dragging the score down..
SERP preview tool
Preview how a title, URL and meta description will render in Google on desktop and mobile, measured in pixels rather than characters so truncation is accurate..
SEO ROI calculator
Estimate what a ranking improvement is worth: search volume, position-based CTR, conversion rate and order value, plus a payback period on your SEO spend..
Open Graph generator
Generate Open Graph and Twitter card meta tags with a live preview of how the link will look when shared on Facebook, LinkedIn, X, WhatsApp and Slack..
SEO report generator
Generate an on-page SEO report for any URL: title and meta lengths, headings, canonical, schema types, image alt coverage, links and indexability, scored..
Redirect checker
Follow any URL hop by hop: every status code, every intermediate URL, and the page that finally answers.
Robots.txt tester
Fetch any site robots.txt and test a path against Googlebot, Bingbot, GPTBot, ClaudeBot and PerplexityBot.
Sitemap checker
Fetch any XML sitemap or index and check it: URL count against the 50,000 limit, lastmod coverage and honesty, size and reachability..
HTTP header checker
Fetch any URL as Googlebot and read the full response headers, with the SEO-relevant ones called out: X-Robots-Tag, Cache-Control, Content-Type, Vary and HSTS..
AI visibility checker
Check what AI answer engines may do with a site: GPTBot, ClaudeBot, PerplexityBot and Google-Extended rules, llms.txt, and whether pages are quotable..
hreflang checker
Read the hreflang cluster on any page: every declared alternate, whether the page includes itself, whether x-default is present, and whether the codes are valid..
Canonical checker
Check the canonical on any URL: present or missing, self-referencing or pointing elsewhere, and whether a redirect or noindex contradicts it..
Heading structure checker
Check the heading structure of any page: how many H1s, whether levels are skipped, and how many sections a reader or an answer engine can actually navigate..
Indexability checker
One verdict from every signal that decides it: status code, robots meta, X-Robots-Tag, canonical target, redirect chain and whether the HTML has content at all..
関連ガイド
How to Get Indexed by LLMs Through an llms.txt Fileai.txt vs llms.txt: Which File Do AI Crawlers Read?llms.txt generator for Shopify (free): create oneShopify robots.txt: edit and fix it right
Run this across your whole catalog
RankEngine applies and verifies these fixes on every product in your Shopify store — automatically.
Start a 3-day free trial