Cloudflareが7月1日に予告していたボット設定の既定値変更が、9月15日に発効しました。広告を表示しているページでは、AIの学習用クローラーとエージェント用クローラーが既定でブロックされ、検索インデックス目的のクロールだけが許可されます。対象になるのは新規に追加されたドメインと、設定を触っていない無料プランのサイトです。自分のサイトが該当するかどうか、一度ダッシュボードを開いて確かめておきたい変更です。

検索は通すが、学習とエージェントは止める

Cloudflareは今回、AI関連のボットの振る舞いを検索（Search）、エージェント（Agent）、学習（Training）の3つに分けました。検索は後から質問に答えるためにコンテンツを収集してインデックスする動き、エージェントは人間の代わりにその場で何かを実行するために訪れる動き、学習はモデルの訓練や微調整のためにコンテンツを持ち去る動きを指します。

9月15日から適用された既定値は、この3分類に対して一律ではありません。広告が表示されているページに限って、学習とエージェントの2つがブロックされ、検索は許可されたままになります。Cloudflareはその理由を、広告の存在はサイト所有者がそのページを人間に見せるつもりだったというシグナルだからだと説明しています。一方で検索は訪問者を還流させる動きなので、許可しておくほうが多くのサイト所有者の利益になるという整理です。

広告を出していないサイトは、この既定値変更の影響を受けません。ポートフォリオサイトや問い合わせ獲得目的のサイトであれば、AIの回答に引用されること自体が集客になるケースもあるので、むしろ既定とは逆の設定にしたい場面もあるはずです。設定はダッシュボードのセキュリティ設定からいつでも変更できます。

影響を受けるのは新規ドメインと無料プラン

適用範囲は限定されています。新規に契約した顧客と、既存顧客が新しく追加したサイトが対象です。加えて、9月15日までにダッシュボードで設定を変更していなかった既存の無料プラン利用者にも、同じ既定値が適用されました。

つまり、すでに有料プランを使っていて設定を自分で決めている場合、勝手に何かが変わることはありません。逆に注意が必要なのは無料プランのほうです。数年前に表示速度とDDoS対策のために導入したきり、ダッシュボードを開いていないサイトは珍しくありません。そうしたサイトには、所有者が意識しないままコンテンツ利用に関する方針が適用されたことになります。

名指しされた「混在型クローラー」

今回の変更で、Cloudflareがはっきり標的にしているのが混在型クローラーです。検索用、エージェント用、学習用のボットを名前ごと分けて運用している事業者であれば、サイト側は片方を許可してもう片方を断るという選択ができます。ところが3つの目的を1つのボットにまとめている場合、検索に出てもらうことに同意した時点で、学習にも同意したことになってしまいます。

Cloudflareの共同創業者兼CEOであるMatthew Prince氏は、今回の既定値変更が混在型クローラーに対して、検索をエージェント利用や学習から切り離すきっかけになることを期待するとコメントしています。同社は、最大手の検索エンジンが主要なAI企業のおよそ2倍の情報にアクセスできている状態を指摘し、その差は検索での発見されやすさとAI利用を切り離せないことに起因していると説明しています。

なお、複数の目的を持つクローラーは、そのすべての振る舞いに応じて判定され、適用可能なルールのうち最も制限的なものが使われます。この結果、学習をブロックする設定を選んだ顧客のサイトでは、Googlebot、Applebot、BingBotといった複数目的のクローラーもブロック対象になります。発見されやすさへの影響を考えると、ここは設定前に一度立ち止まって考えたほうがよい部分です。

背景にある数字

Cloudflareが挙げている数字のうち、サイト運営者に直接効いてくるのは帯域の話です。同社のデータによると、AIクローラーのクロールトラフィックのうち50パーセント以上が、更新されていないページの再取得に費やされています。何も変わっていないページを何度も取りに来るため、サイト側は帯域を、AI企業側は計算資源を無駄にしているという構図です。Cloudflareは変更の有無を検知できる立場にあることを生かし、再取得する価値があるかどうかを伝えるシグナルを主要なAI企業とテスト中で、年内に広く提供する計画だとしています。

商業面では、メディア各社とAIプラットフォームの間で過去1年に50件を超える大型のコンテンツライセンス契約が結ばれたとしています。Cloudflareは昨年開始したPay Per CrawlをPay Per Useへと発展させ、ボットが取得した時点ではなく、コンテンツが実際に価値を生んだ時点で報酬が発生する形に変えました。最初のパートナーとしてCeramic.aiとYou.comの名前が挙がっています。

robots.txtにも新しい項目が加わった

同時に、robots.txtに書き込む新しいシグナルとしてuseの試験導入も始まっています。Content Signalsの初版にあった3項目に4つ目の任意項目を足したもので、値はimmediate（やり取りはしてよいが保存も再利用もしない）、reference（インデックス化と引用、リンクバックまで。これが既定）、full（要約と全文再現まで）の3段階です。

これらはブロックではなく、サイト所有者の希望を示すものと位置づけられています。Cloudflareのマネージドrobots.txtをすでに有効にしている場合は、use=referenceが自動で追加されます。同社は各ボットのcontent useの追跡も始めており、シグナルを無視するボットからは検証済み（Verified）のステータスを剥奪する方針です。現時点で全文をそのまま再現するボットは、検証済みにはなれないとしています。

まとめ

Cloudflareの新しい既定値は9月15日に発効し、広告を表示しているページではAIの学習用とエージェント用のクローラーが既定でブロックされるようになりました。対象は新規ドメインと、設定未変更の無料プラン利用者です。検索目的のクロールは引き続き許可されますが、検索と学習を分離していない混在型クローラーは広告ページ全体でブロックされます。Cloudflareの背後には全Webドメインの20パーセント以上があり、その既定値は事実上の業界標準に近い重みを持ちます。AI企業がボットを目的別に分けるかどうかで、この先の景色は大きく変わりそうです。