robots.txtでAI学習だけ断る方法｜検索には出す設定と今後の共通の合図

本メディアはAI活用の情報メディアで、株式会社S.Lineが運営しています。記事内で当社サービスに触れる場合は「当社」と明記します。 運営会社の情報

自分のサイトを「AIの学習には使わせたくない。でも検索には出したい」と思ったときは、学習用と検索用のクローラーを分けて指定します。OpenAIの場合、学習に関わるGPTBotを断り、検索用のOAI-SearchBotは許可する書き方が今できる設定です。

あわせて、OpenAIは「AI学習の可否」を各社まとめて伝えられるrobots.txtの共通の合図に対応すると表明しました。ただし実装はこれからで、仕様も下書きの段階です。確認日は2026年10月31日です。

「学習は断る・検索には出る」は別々のクローラーで決まる

OpenAIは用途ごとにクローラーを分けており、学習用のGPTBotと検索用のOAI-SearchBotは、robots.txtで別々に指定できます。

OpenAIのクローラーの一覧ページでは、各設定は独立して動くと説明されています。検索結果に出る設定を残したまま、学習だけを断ることができます。

上の表は3項目です。出典はいずれもOpenAIのクローラー一覧で、2026年10月31日に確認しました。

今できる設定：GPTBotを断り、OAI-SearchBotは許可する

今できる設定とは、サイトのrobots.txtに、GPTBotとOAI-SearchBotを別々の行で書き分けることです。

手順は次のとおりです。

1. サイトの直下にあるrobots.txtを開く（例：https://自分のドメイン/robots.txt）
2. GPTBotの行を追加し、断りたい範囲にDisallowを書く
3. OAI-SearchBotの行を追加し、検索に出したい範囲にAllowを書く
4. 保存したあと、ブラウザでrobots.txtを開いて反映を確かめる

書き方の例です。これは編集部が用意した例で、サイト全体で学習を断り、検索には出す場合です。

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

OAI-SearchBotを断ると、ChatGPTの検索の回答にサイトが出なくなります。ただし、案内用のリンクとしては出ることがあります。変更が反映されるまで約24時間かかる場合があると、公式ページに書かれています。

他社のAIの学習を断りたい場合は、各社の公式ページで、クローラー名と書き方を確かめてください。この記事では確認していません。

これから来る「共通の合図」とは

共通の合図とは、AIの学習に使ってよいかどうかを、会社ごとのクローラー名ではなく、1つの書き方でまとめて伝えるための、robots.txtの新しい書き方の案です。

OpenAIは公式の発表で、基盤となる生成AIの学習について、robots.txtの共通の合図を尊重すると述べています。これまでは、運営者が提供元ごとにクローラーを調べ、別々に規則を書いていました。

この合図は、IETFのAI Preferences作業部会の取り組みにもとづいています。書き方の案は、IETFの下書きの図1に載っています。

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

この例は、/press-kit/の下を除くすべてのパスで、AI学習に反対する意思表示だと、下書きに説明されています。

今の設定と共通の合図は、どう違うのか

今の設定は提供元ごとにクローラー名を書き分ける方法で、共通の合図は学習の可否を1か所にまとめる案です。

上の表は3項目です。OpenAIは、新しい合図が既存のrobots.txtの設定に置き換わるものではないと述べています。出典はOpenAIの発表です。

注意したい点：まだ実装前で、標準でもない

共通の合図は、OpenAIがこれから実装すると表明した段階で、IETFの下書きも標準になったものではありません。

• OpenAIは「今後数か月での実装をめざす」と述べており、実装時には詳細を別途知らせるとしています
• IETFの下書きは、有効期限が2027年5月3日と記された個人の提出文書です
• 発表の記事は、他社が同じ合図に対応するかどうかを述べていません
• この合図は学習の話です。検索やAIの回答に出るかどうかは、クローラーごとの設定で決まります

出典はOpenAIの発表と、IETFの下書きです。実装の開始時期は、公式の続報が出てから確かめてください。

運営者が今のうちにやっておくこと

今のうちにできるのは、自分のサイトの方針を決め、robots.txtの現状を確かめておくことです。

• 学習を断るのか、許すのかを、サイトの方針として決める
• robots.txtを開き、すでにGPTBotやOAI-SearchBotの行があるか確かめる
• 検索に出したいなら、OAI-SearchBotを断っていないか確かめる
• 書き換えたあとは、公式の続報で実装の詳細を確認する

社内の資料や関連する確認ポイントは、生成AIの著作権を業務利用の前に確認する記事や、生成AIの情報漏えい対策をまとめた記事も参考になります。

よくある質問（FAQ）

Q1. robots.txtでGPTBotを断ると、ChatGPTの検索に出なくなりますか。

GPTBotとOAI-SearchBotは別の設定です。公式ページは、GPTBotを断っても、検索用のOAI-SearchBotを許可できると説明しています。検索から外れるのは、OAI-SearchBotを断った場合です。

Q2. 共通の合図は、もう使えますか。

まだ使えません。OpenAIは今後数か月で実装をめざすと述べており、実装の詳細は別途知らせるとしています。書き方の案はIETFの下書きに載っていますが、標準にはなっていません。

Q3. 共通の合図を入れれば、今のGPTBotの設定は不要になりますか。

不要にはなりません。新しい合図は既存の制御を置き換えないと、OpenAIは説明しています。今ある設定は、そのまま残して構いません。

Q4. ChatGPT-Userも、robots.txtで断れますか。

公式ページでは、ユーザーの操作で動くため、robots.txtの規則が当てはまらない場合があると説明されています。断れるかどうかは、公式ページで最新の内容を確認してください。

まとめ

学習は断り、検索には出したいときは、GPTBotを断り、OAI-SearchBotは許可します。今できるのは、クローラー名ごとの書き分けです。

共通の合図は、OpenAIが今後数か月での実装をめざすと表明した段階で、IETFの下書きも標準ではありません。実装の詳細は、公式の続報を確かめてから判断してください。