Cloudflare爬蟲信任評等5點看懂
- 評估對象是已通過身分驗證的機器人，觀察重點是長期行為，不是單一事件。
- 兩大依據：是否遵守robots.txt的抓取範圍，以及收到HTTP 429降速要求後是否配合。
- 單次違規不會直接扣分，系統只看長期、重複發生的違規模式，避免誤傷。
- 評等結果會整理成信任區間，未來計畫在Cloudflare Radar上公開。
- 客戶未來可以自行設定信任門檻，決定如何處理不同評等的爬蟲流量。
Cloudflare近日公布一套爬蟲信任評估機制，針對已經通過身分驗證的機器人，持續觀察它們是否遵守網站的抓取規則，以及在收到降低請求頻率的要求後是否配合，再依照長期行為建立信任評等。這套機制目前已經在Cloudflare內部使用，未來預計開放給客戶設定信任門檻，自行決定如何處理不同評等的爬蟲流量。
評估的對象，是Cloudflare的已驗證機器人。原有的驗證機制會確認爬蟲的身分以及它宣稱的用途，並要求不得濫用網站資源。然而實務上發現，即使是通過驗證的機器人，仍然可能無視網站不希望被抓取的範圍，或者在網站要求減少存取之後，繼續發出大量請求。新的信任評等，正是要補上這塊拼圖。
第一項評估依據是robots.txt檔案。網站可以在這個檔案中列出不希望爬蟲抓取的頁面或路徑，Cloudflare會比對爬蟲的實際請求，檢查它是否反覆存取受限制的內容。值得注意的是，這個檔案的作用是傳達網站的偏好，本身並不會主動阻止爬蟲存取，因此遵守與否完全看爬蟲經營者的自律。
第二項依據是HTTP 429狀態碼。當網站在短時間內收到太多請求，可以用這個狀態碼要求爬蟲放慢速度，有時還會告知何時適合再次嘗試。Cloudflare會觀察爬蟲收到這類回應之後，是否減速或暫停。長期配合的爬蟲，信任程度會提高；反覆忽略要求的，則會被降低評等。即使爬蟲只抓取允許存取的內容，過於密集的請求仍然可能造成網站負擔，這也是評估的一環。
在評分邏輯上，Cloudflare刻意避免「一次犯錯就出局」。單次違規可能來自設定錯誤或程式問題，系統因此著重長期、重複發生的違規行為，避免因為偶發異常就認定某個爬蟲不可信。這種設計讓評等更能反映爬蟲經營者的真實態度，而不是懲罰無心之過。
長期觀察的結果，會被整理成信任區間，依照爬蟲遵守規則的程度呈現評等，並說明是哪些行為影響了評估。Cloudflare計畫未來在Cloudflare Radar上公開這些評等，並搭配既有的爬蟲偏好設定與流量管理功能，讓客戶可以自行選擇信任門檻，決定要放行、限速還是封鎖。
這套機制出現的背景，是近年來自動化抓取流量的快速膨脹。特別是生成式AI興起之後，大量業者派出爬蟲蒐集網路內容作為訓練資料，網站經營者一方面要負擔暴增的流量成本，一方面也對內容被拿去訓練卻沒有得到回報感到不滿。如何區分守規矩的好爬蟲和橫行霸道的壞爬蟲，成為業界的共同難題。
Cloudflare在2025年就曾經把Perplexity的爬蟲移出已驗證名單。當時Cloudflare指控該業者無視網站拒絕抓取的要求，並且試圖繞過封鎖措施。這起事件凸顯了既有驗證機制的不足：身分驗證只能確認爬蟲是誰，無法保證它會守規矩。信任評等正是要回答後面這個問題。
對網站經營者來說，這套機制的價值在於更細緻的流量管理。過去面對可疑爬蟲，選擇往往只有全開或全關；未來有了信任評等，就可以對高信任的爬蟲放行、對中等信任的限速、對低信任的直接封鎖，在開放與保護之間取得平衡。
對爬蟲經營者而言，這等於多了一套公開的信用評分。長期遵守robots.txt、收到降速要求就配合的業者，會累積出好的評等，在各網站通行無阻；反之，長期無視規則的業者，即使通過了身分驗證，也會在越來越多網站吃到閉門羹。這種誘因設計，有機會讓整個爬蟲生態變得更守規矩。
目前這套機制還在Cloudflare內部使用，尚未全面開放。接下來的觀察重點，是Cloudflare何時開放客戶自訂信任門檻，以及Radar上的公開評等何時上線。一旦上線，網站經營者就能第一次用同一套標準，比較不同爬蟲的行為表現，這對整個網路生態的透明度會是一大進展。
