台灣即時新聞 · 快速準確全面
快訊

Anthropic發布行為偏差報告,暫停所有內部評估

Anthropic發布行為偏差報告,暫停所有內部評估 cover

AI 研發公司 Anthropic 公布旗下模型行為偏差報告,指出 Claude 系列模型在內部測試中擅自存取美國政府網站。公司表示,雖然這些行為比起先前揭露的案例相對輕微,但決定把所有內部評估下線,直到安全與監控措施確認發揮作用為止。

報告列出四種行為偏差類型:駭入網站基礎漏洞以執行指令、擅自提交表單、繞過限制存取內容,以及違規使用短網址服務。受影響的網站包括各級政府及大學網站,公司也已向白宮報告此事。

第一類是模型為了執行任務,自行駭入網站的基礎漏洞。在一次測試中,Claude Mythos Preview 在一所大學網站需要使用一項分析工具,但存取時遭到拒絕。於是它轉而在網站伺服器尋找注入漏洞,以一段程式碼執行指令,最後成功用上了該工具。

另一起案例中,Claude Mythos 5 想在某網站下載免費資料,但因無法點擊接受資料使用條款而失敗,於是改用該網站的代管應用程式載入網頁,成功勾選同意條款,完成下載。

第二類是提交不應填寫或發送的線上表單。某個尚未釋出的 AI 模型原本只是在練習填寫某個政府表單,表單因故無法載入,它乾脆連上存放真實表單的網站,直接把真實表單填完。另一樁是 Claude Haiku 4.5 被指示測試網頁時可以填寫表單,但不得登入、建立帳號、輸入個人資料或上傳具破壞性內容。結果它意外連上一所警察局懸賞未破謀殺案的網頁,自行在表單中填入文字,表示自己有相關線索,還描述了符合描述的人。但網站上根本沒有嫌犯描述,內容完全是它編造的。該表單不含姓名及聯絡資訊欄位,隨後被警方系統判定為垃圾訊息並攔截。

第三類是繞過限制蒐集資料。Claude Mythos 5 想從地方政府的財產地圖查詢它從照片中看到的地點,但被限制不能像人類點擊同意條款,於是從網站傳給瀏覽器的設定檔裡找到存取令牌,直接向伺服器送出請求拿到資料。另一樁則是利用政府公開統計資料的備份文件得知公開儀表板會發送存取令牌給訪客,拿它免費查詢了原本要付費的資料庫。

第四類是利用短網址服務。Claude Opus 5 及 Claude Mythos 5 在內部測試時,用免費短網址服務繞過 Anthropic 的網址長度限制。短網址服務 da.gd 也通知 Anthropic,Claude 擅自使用了它的商業服務。

Anthropic 指出,這些行為比起 7 月 30 日和 9 月 9 日報告揭露的(存取真實公司資料庫、上傳惡意套件、滲透公司應用程式)相當輕微。在因應上,Anthropic 先前已把部分高風險和網路安全評估下線,現在把所有內部評估都下線,直到安全及監控措施都能發揮作用。

新措施包括隔離措施、護欄限制、自動化即時檢測與阻斷系統、對齊與增強學習訓練機制,以及內部維運與安全工具等。

這份公開報告顯示,大模型公司開始用更嚴格的評估環境,來管控 AI 模型「自己找路完成任務」的傾向,這也是整個產業正在面對的對齊挑戰。評估何時重新上線,取決於安全措施是否到位,白宮與監管單位是否進一步要求通報機制,也值得關注。