台灣即時新聞 · 快速準確全面
快訊

Cloudflare推出決策模型Clef 開源權重、延遲快過Jev

Cloudflare推出決策模型Clef 開源權重、延遲快過Jev cover

Cloudflare宣布推出自行訓練的決策模型Clef,以及速度更快的輕量版Clef-flash,兩款模型已經整合進旗下的Workers AI服務,並且以Apache 2.0授權開放模型權重,讓開發者可以直接下載使用。

與一般大家熟悉的大型語言模型不同,決策模型不負責寫文章或聊天,它專門處理範圍明確的判斷。開發者可以先設定好可接受的答案,模型讀進資料後,直接回傳符合格式的答案和每個選項的機率,適合用在AI代理的分類、分流與下一步動作的選擇。

Clef採用與Jev相容的程式介面,原本使用Jev的應用比較容易改換成Clef。除了文字之外,Clef也可以處理圖片,上下文長度為64K,在代理應用中能一次讀進較長的輸入資料再做出判斷。

一個典型的使用情境是客服系統:收到使用者的訊息後,交由Clef判斷這件案子是否緊急、應該分給業務、帳務還是技術團隊,以及嚴重程度。應用程式拿到結果,就能直接分派案件、啟動後續流程,如果模型無法確定,就轉交人工處理。

推論方式是這兩款模型縮短處理時間的關鍵。一般生成式AI通常需要逐步產生輸出內容,而Clef先讀取輸入資料,再直接針對預先設定的答案計算分數,不必先產生一段文字,因此在AI代理只需要分類或選擇下一步動作時,可以省下產生文字的過程。

根據Cloudflare公布的43項評測結果,Clef的中位延遲為209.3毫秒,Clef-flash為38.8毫秒,Jev則為524.1毫秒。兩款新模型的延遲都明顯低於Jev,其中Clef-flash快了將近十倍。不過在準確度上,各模型在不同測試中的表現並非由Clef全面領先,例如Jev在部分測試仍然取得較高的成績。

Cloudflare表示,Clef以Qwen3.8-27B為基礎,Clef-flash則以Qwen3.5-9B為基礎,再針對決策工作進行訓練。這意味著兩款模型都繼承了開源模型的能力,並針對判斷類任務做了專門的最佳化。

目前開發者可以透過Workers AI直接使用這兩款模型,也可以從Hugging Face取得模型權重自行執行。不想自己動手的人,可以選擇Cloudflare提供的託管服務。

除了現成的模型,Cloudflare還開始提供模型微調服務,由工程團隊協助客戶依照特定的工作調整Clef。後續也規劃推出自助式平台,讓客戶自行準備資料、微調並重新部署模型。

這項發布顯示Cloudflare正在把戰線從網路服務延伸到AI基礎設施。對開發AI代理的團隊來說,開源權重加低延遲的判斷模型,提供了一個直接的選項,特別是那些原本就在使用Jev的應用,遷移的門檻相對較低。

接下來可以觀察實際開發者的採用情況,特別是在需要大量即時判斷的代理應用中,Clef的延遲優勢能否轉換為實際的導入。

後續發展方面,Cloudflare的自助式微調平台何時上線,以及社群會基於開放權重做出哪些客製版本,都是值得關注的方向。