AIの学習を断ると、AI検索にも出なくなるのか　ChatGPT検索を断るサイトは16.9%から3.0%へ

答え：学習だけを断るなら残れる。ただし断り方を誤ると、AI検索から消える

AIの学習を断っても、正しく設定すれば検索にもAIの検索にも残れます。ところが実際には、学習を止めるつもりの一括ブロックで、ChatGPTの検索に使われる読み取りまで断っていたサイトが少なくありませんでした。

自社の文章をAIの学習に使われたくない一方で、検索やAIの回答には出たいという悩みは、多くの会社が抱えています。Cloudflareを使うサイトのうち、検索用のロボットを断っているのは1%未満ですが、学習を断る仕組みを何かしら入れているサイトは17%にのぼります。

話をややこしくしているのは、1つのロボットが検索と学習を兼ねている場合があることです。そのロボットを断れば検索からも消えてしまうため、学習だけを断る手段がなかったサイトは、どちらを取るかの二択を迫られてきました。

学習用と検索用は、別々に断れるようになっている

OpenAIは学習用のGPTBotと、ChatGPTの検索用のOAI-SearchBotを分けていて、2つの設定は互いに独立しています。GoogleとAppleも、検索のロボットとは別に、学習だけを断るための名前を用意しています。

OpenAIの場合、OAI-SearchBotを断ったサイトはChatGPTの検索の回答に出なくなりますが、GPTBotだけを断ればそうはなりません。robots.txtを書き換えてから検索の側に反映されるまでは、24時間ほどかかります。

つまり、学習を断るときに止めるべきなのはGPTBotやGoogle-Extendedのような学習用の名前であって、OAI-SearchBotやGooglebotではありません。ここを取り違えると、学習を断ったつもりで、AIの検索から自社を外すことになります。

一括の「AIを止める」は、AIの検索まで止めていた

Cloudflareの新しい設定が始まった9月15日の前後で比べると、Cloudflareを使うサイトでOAI-SearchBotを断る割合は16.9%から3.0%に下がりました。学習を断るための一括ブロックが、ChatGPTの検索まで巻き込んでいたことになります。

この2日間で、学習用のロボットを断るサイトは増え、検索用のロボットを断るサイトは大きく減りました。Cloudflareを使わない300サイトでは変化がなかったため、動いたのはCloudflareの設定の切り替えによるものと見てよさそうです。

Cloudflareの発表は、AIの検索用のロボットについて何も変えるとは書いていませんでした。それでも、検索用とエージェントのロボットを断る割合はそれぞれ約13ポイント下がっています。

手がかりは、古い設定を新しい設定へ移す対応表にあります。旧来の「AIをブロック」を選んでいたサイトは、新しい設定で検索が「許可」、学習が「Disallow AI Training」に置き換わりました。旧設定がAIの検索用のロボットまで止めていて、それが移行で外れたと見るのが自然ですが、旧設定がどのロボットを止めていたかを直接示す資料はなく、これはAIMAの読みです。

この読みが正しければ、学習を断ったつもりの会社の一部は、知らないうちにChatGPTの検索からも外れていたことになります。AIに引用されない原因が、文章の中身ではなく入口の設定にあったという場合もありえます。

9月15日からは、「ブロック」を選ぶとGoogle検索まで止まる

Cloudflareでは9月15日から、学習の設定で「Block」を選ぶと、Googlebot、Bingbot、Applebotまで止まり、通常の検索からも外れます。学習だけを断るなら、「Disallow AI Training」を選ぶ必要があります。

これまでの設定は自動で新しい設定へ移されるので、ほとんどのサイトは何もしなくてかまいません。危ないのは、あとから設定画面を開いて、強そうな「Block」を選び直す場面です。

Disallow AI Trainingを選ぶと、robots.txtにGoogle-ExtendedとApplebot-Extendedを断る2行が足されます。Amazon、Anthropic、Meta、OpenAIは学習専用のロボットを分けているので、そちらは直接ブロックされます。検索用のロボットは残るので、ChatGPTの検索などからは引き続き読める状態になります。

新しくドメインを登録するときのおすすめの初期設定も、広告で稼ぐかどうかで分かれました。広告収入は人がページを見て初めて生まれ、学習はその訪問を答えに置き換えてしまうため、広告で稼ぐサイトには学習を断る設定が、広告で稼がないサイトには学習も許可する設定がすすめられています。

学習を断っても、AIの回答に出るかどうかは別に決まる

学習の拒否が決めるのは、モデルを作る材料に使われるかどうかです。AIの回答や要約に自社のページが出るかどうかは、検索用のロボットを通すかどうかと、今後用意される要約の設定で別に決まります。

要約への出方を断る設定は、Cloudflareが次に取り組む対象としていて、自前の設定は来年の予定です。Bingbotはrobots.txtの学習拒否を2027年初めまで読まないため、それまでBingに学習させない手段はNOARCHIVEのメタタグに限られます。

robots.txtの指定はあくまでお願いであり、無視するロボットも出てきます。Cloudflareは無視したロボットを見つけて止められますが、Google、Apple、Microsoftについては、各社の約束を信じて任せる形になっています。

広告で稼がない会社にとっては、学習を断ること自体が得とは限りません。AIに社名を知ってもらい、名前を出してもらいたいなら学習の材料に入っているほうが有利な面もありますが、それがどれだけ効くかを明らかにしたAIの会社はありません。

Webマーケ担当者が、いまやること

自社サイトのrobots.txtをブラウザで開き、学習用と検索用のどちらの名前を断っているかを確かめます。Cloudflareを使っているなら、学習の設定が「Block」になっていないかを管理者に見てもらいます。

robots.txtはサイトのアドレスの後ろに「/robots.txt」を付けるだけで誰でも読めるため、エンジニアに頼まなくても最初の確認はできます。

• ブラウザで自社サイトのrobots.txtを開き、GPTBot、OAI-SearchBot、Google-Extended、Googlebotの名前が書かれているかを書き写す
• OAI-SearchBotやGooglebotの下に「Disallow: /」があれば、学習ではなく検索を断っている状態なので、それが意図したものかを管理者に確かめる
• Cloudflareを使っているかを制作会社や管理者に聞き、使っていれば学習の設定が「Disallow AI Training」か「Block」かを確認してもらう
• 広告で稼いでいない会社なら、そもそも学習を断る必要があるのかを、AIに社名を出してもらいたいかどうかと合わせて社内で決め直す
• 設定を変える前に、ChatGPTの検索で自社名や主力サービスについて数問たずね、答えと引用元を日付つきで記録しておき、数週間後に同じ質問で比べる
• robots.txtに問題がないのにAIの検索にまったく出ない場合は、防火壁の側で止めていないかも管理者に調べてもらう

学習を断るかどうかは会社ごとの判断ですが、検索用のロボットまで止めてしまうのは、ほとんどの会社にとって意図しない損失です。まずは自社がいま何を断っているのかを、自分の目で確かめるところから始めます。