台灣即時新聞 · 24小時不斷更新
快訊

AWS 開源 20 億參數決策模型,專替 AI 代理人快速判斷

AWS 開源 20 億參數決策模型,專替 AI 代理人快速判斷 cover

AWS 旗下的 Strands 團隊在 10 月 1 日開源 Strands Decider 2B 決策模型,專門替 AI 代理人快速進行分類、工具選擇及安全判斷等工作。

模型共有 20 億個參數,可直接在本機 CPU 或 GPU 執行,並以低延遲完成決策。AWS 同步公開模型權重、訓練資料及訓練程式碼。

所謂決策模型(Decision Model),是一類專門用來做選擇的 AI 模型,不以生成自由文字為主要功能,而是在預先提供的選項中進行分類、判斷或評分。

相較大型語言模型,這類模型犧牲文字生成及複雜推理能力,換取更低延遲及較穩定的結構化輸出,並可為每項決策提供可信度分數。

這類模型近期隨 AI 代理人發展而受到關注。代理人在執行工作時,經常需要進行工具選擇、分類、路由及政策判斷等大量簡單決策,未必需要每次都交由大型語言模型處理。

前 OpenAI 研究人員 Diogo Almeida 創辦的 TypeSafe AI,今年 9 月發表的 Jev,也是這類決策模型之一,顯示這個方向已成為業界共識。

Strands Decider 2B 以 Qwen3.5-2B 預訓練模型為基礎,移除原本負責生成文字的 LM head,改用專門替答案選項評分的 pointer head,因此不再自由生成文字,而是直接從既定選項中做出判斷。

AWS 指出,這次發布的是第二個主要架構版本。早期版本採用 slot head,但表現較差,目前公開的模型已迭代至第 19 版。

延遲表現是這次發布的亮點。在 Nvidia RTX 3090 上的中位決策時間約 115 毫秒,在 M3 MacBook 處理小型工作時則約 153 毫秒,一般本機硬體就能快速完成判斷。

AWS 也示範將它放在 AI 代理人的工具呼叫流程中:當代理人準備執行某項工具時,先把對話內容及預定的工具呼叫交給 Decider 判斷,再決定是否繼續執行。

以查詢天氣為例,若使用者沒有提供地點,Decider 可在代理人呼叫天氣工具前判斷資訊不足,讓代理人先向使用者詢問地點,而不是自行猜測後直接執行查詢。

目前 AWS 已透過 GitHub 公開原始碼、訓練資料及相關範例,模型權重亦已上架至 Hugging Face,供開發者自由下載使用。