Cloudflare 在 7 月 1 日預告的機器人預設值調整，已於 9 月 15 日正式生效。在有顯示廣告的頁面上，用於 AI 訓練與 AI 代理的爬蟲會被預設封鎖，只有以搜尋索引為目的的抓取仍舊放行。受影響的是新增的網域，以及從未動過設定的免費方案網站。若你手上的網站屬於其中一種，值得打開控制台確認一次。

搜尋放行，訓練與代理擋下

Cloudflare 這次把 AI 相關機器人的行為分成三類：搜尋（Search）、代理（Agent）與訓練（Training）。搜尋是指蒐集並索引內容，以便日後回答相關問題；代理是指代替使用者即時造訪頁面、當下把某件事情辦完；訓練則是指抓走內容用來訓練或微調模型。

9 月 15 日起套用的預設值並非三類一律相同。只有在顯示廣告的頁面上，訓練與代理這兩類才會被封鎖，搜尋依然放行。Cloudflare 的理由是，廣告的存在本身就是一個訊號，代表網站擁有者希望這個頁面被人閱讀；而搜尋是最自然把訪客導回網站的行為，放行對多數網站擁有者更有利。

沒有投放廣告的網站不受這次預設值調整影響。對作品集網站或以開發潛在客戶為目的的網站而言，被 AI 的回答引用本身就是一種曝光，因此反而可能需要與預設值相反的設定。這些選項隨時可以在控制台的安全性設定中調整。

受影響的是新增網域與免費方案

適用範圍刻意收得很窄。涵蓋的是新簽約的客戶，以及既有客戶新加入的網站。此外，截至 9 月 15 日尚未在控制台改過設定的既有免費方案使用者，同樣被套用了新的預設值。

換句話說，已經自行設定過偏好的付費客戶不會有任何自動變動。真正需要留意的是免費方案這一側。不少網站是好幾年前為了加速與防禦 DDoS 才接上 Cloudflare，之後就再也沒打開過控制台。這些網站等於在擁有者毫無察覺的情況下，被套上了一份內容使用方針。

為什麼混合型爬蟲被點名

這次調整明確鎖定的是混合型爬蟲。如果營運方為搜尋、代理與訓練分別部署名稱不同的機器人，網站擁有者就能允許其中一個、拒絕另一個。可是一旦三種用途被塞進同一個機器人，同意出現在搜尋結果裡，也就等於同意被拿去訓練。

Cloudflare 共同創辦人兼執行長 Matthew Prince 表示，希望這次預設值調整能促使混合型爬蟲把搜尋與代理用途、訓練用途分離開來。該公司也指出，目前最大的搜尋引擎所能取得的資訊量約為領先 AI 公司的 2 倍，原因正是網站很難一邊維持可被發現，一邊把自己與 AI 使用切開。

要留意的是，多用途爬蟲會依其全部行為判定，並套用所有適用規則中最嚴格的一條。因此在選擇封鎖訓練的網站上，Googlebot、Applebot、BingBot 這類多用途爬蟲也會一併被擋下。考慮到對可被發現程度的衝擊，這一點值得在動手改設定前先停下來想想。

數字背後的理由

Cloudflare 提出的數據當中，網站經營者感受最直接的是頻寬。該公司的資料顯示，AI 爬蟲的抓取流量中，超過 50% 花在重新抓取內容根本沒更新的頁面上。什麼都沒變的頁面被一再取走，網站這端浪費頻寬，AI 公司那端浪費算力。Cloudflare 憑藉能夠察覺內容是否變動的位置優勢，正與主要 AI 公司一起測試用來提示頁面是否值得重新抓取的訊號，並計畫在今年內廣泛開放。

在商業層面，Cloudflare 表示過去一年間媒體業者與 AI 平台之間簽下了超過 50 份大型內容授權協議。該公司也把去年推出的 Pay Per Crawl 進化為 Pay Per Use，讓內容方在內容真正創造價值時才獲得報酬，而不是在機器人抓取的當下。首批合作夥伴為 Ceramic.ai 與 You.com。

robots.txt 多了一個新欄位

同時，寫進 robots.txt 的新訊號 use 也進入測試階段。它在 Content Signals 初版的 3 個欄位之外，加上第 4 個選用欄位，值分為三級：immediate（可以互動，但不保存也不再利用）、reference（可索引、可摘錄並回連，這是預設值）、full（可摘要並完整重現）。

這些並不是封鎖手段，而是用來表達網站擁有者的意願。已經啟用 Cloudflare 託管 robots.txt 的網站會自動被加上 use=reference。該公司也開始追蹤各個機器人的內容使用方式，並表示會取消無視這些訊號的機器人的已驗證（Verified）狀態。以現行標準來看，會完整重現內容的機器人無法取得已驗證狀態。

總結

Cloudflare 的新預設值已於 9 月 15 日生效，在顯示廣告的頁面上預設封鎖 AI 訓練與代理爬蟲。適用對象是新增網域，以及未曾調整設定的免費方案使用者。以搜尋為目的的抓取仍舊放行，但沒有把搜尋與訓練分離的混合型爬蟲，會在所有廣告頁面上被擋下。全球超過 20% 的網站網域位於 Cloudflare 之後，這讓一項預設設定幾乎具備了產業標準的分量。AI 公司願不願意依用途拆分自家機器人，將大幅左右接下來的局面。