robots.txt ジェネレーター
テンプレートを選び、不要なページと AI ボットをブロックし、サイトマップを追加します。完成したファイルはコピーまたはダウンロードできます。
1テンプレート
2すべてのロボット
User-agent: *1行に1つのパス。* は任意の文字列、$ は URL の末尾を表します。
ロボットのリクエスト間の待ち時間です。Bing など一部のロボットは従いますが、Google と Yandex はこの行を無視します。
3AI ボット
4個別のボットのルール
たとえば SEO 分析サービスのクローラーをブロックしたり、画像を Google 画像検索から除外したりできます。
5サイトマップ
robots.txt
ファイルはサイトのルートに置き、example.com/robots.txt のような URL で開けるようにします。
数分で robots.txt を作成
- 1テンプレートを選ぶお使いのプラットフォームか一般的なサイト向け
- 2ルールを設定不要なセクション、AI ボット、個別のロボットをブロック
- 3ファイルをアップロードrobots.txt をダウンロードしてサイトのルートに置く
robots.txt とは
サイトのルートに置くテキストファイルで、ロボットが最初に読みます。どのセクションをクロールしてよいか、どこが禁止か、サイトマップがどこにあるかを記述します。各ブロックはロボット名を示す User-agent 行で始まり、* はすべてのロボットを意味します。その下に Disallow (禁止) と Allow (許可) のルールが続きます。
注意: robots.txt が制御するのはクロールで、インデックスではありません。robots.txt でブロックしたページも、他サイトからリンクされていれば検索結果に出ることがあります。確実に検索から外すには、ロボットにはページを開いたままにして noindex メタタグを追加します。
AI ボットをブロックする方法
AI 企業は独自のロボットでサイトを巡回しています。OpenAI の GPTBot、Anthropic の ClaudeBot、Common Crawl の CCBot、ByteDance の Bytespider などです。モデルの学習用にテキストを集めるものもあれば、ユーザーの質問への回答をその場で探すものもあります。学習だけをブロックすれば、ChatGPT、Claude、Perplexity は引き続きあなたのサイトへのリンクを表示できます。
Google-Extended と Applebot-Extended は独立したロボットではなく識別子で、Google と Apple の AI にテキストを使わせないためのものです。通常の検索には影響しません。robots.txt は鍵ではなくお願いにすぎない点に注意してください。行儀のよいボットは従いますが、非公開データを守ることはできません。
よくある間違い
最も危険なのは、開発時の Disallow: / がすべてのロボット向けブロックに残ったままになることです。サイトが検索から消えてしまいます。CSS と JavaScript はブロックしないでください。これがないと Google は人と同じようにページを見られません。独自のルールブロックを持つロボットは、全体向けのルールに従わなくなる点にも注意してください。アップロード後は Google Search Console と Yandex ウェブマスターでファイルを確認しましょう。
よくある質問
答えが見つからない場合は、お気軽にお問い合わせください。
サイトのルートに置き、example.com/robots.txt のような URL で開けるようにします。サブフォルダーに置いたファイルはロボットに見つけてもらえません。サブドメインごとに専用の robots.txt が必要です。WordPress、Shopify、Tilda はファイルを自動で作成しますが、自分のファイルに置き換えたり設定で編集したりできます。
必ずしもそうではありません。ロボットがページに入るのは禁止できますが、リンクされていれば URL が説明なしで検索結果に出ることがあります。ページを検索から外すには robots メタタグの noindex を使い、robots.txt ではブロックしないでください。ブロックするとロボットがそのタグを読めません。
「AI ボットをブロック」をオンにし、「モデルの学習のみ」か「すべての AI ボット」を選びます。ファイルには GPTBot、ClaudeBot、Google-Extended、CCBot などの既知のボットが入ります。大手企業はこのルールを守りますが、無視するボットに対して robots.txt は防御になりません。
影響しません。通常の Google 検索は Googlebot で動き、Google-Extended はテキストを Google の AI に使うかどうかだけを決めます。ただし AI 検索 (OAI-SearchBot、PerplexityBot、Claude-SearchBot) をブロックすると、それらのサービスの回答にサイトが表示されなくなります。
Disallow はそのパスとそれで始まるすべての URL のクロールを禁止し、Allow はブロックしたセクション内の例外を作ります。ルールが矛盾する場合、Google はより長く具体的なほうを採用します。たとえば Disallow: /wp-admin/ と Allow: /wp-admin/admin-ajax.php で、管理画面を閉じつつ必要なファイルだけを開けておけます。
入れておくのがおすすめです。Sitemap 行は、手動で登録していない検索エンジンも含め、すべての検索エンジンにサイトマップの場所を伝えます。URL は https:// とドメインを含む完全な形にしてください。複数のサイトマップを1行ずつ書くこともできます。
こちらもお試しください
こちらも無料、登録不要