微軟於10月12日發表第三代自研AI加速晶片Azure Maia 300,預計2027年投入正式生產環境,屆時將成為微軟旗下產品與服務的主要AI推論系統。同時,微軟也宣布把Azure Maia系列晶片的部署規模擴大至數GW(數十億瓦)等級。
Azure Maia是微軟自行設計、交由台積電代工生產的AI加速晶片系列,主要用於大型AI模型的訓練與推論。微軟在2023年發表首代Maia 100,並同步推出採用Arm架構的Azure Cobalt伺服器CPU。今年1月發表的第二代Maia 200已經進入正式生產環境,用於Microsoft Copilot以及微軟MAI團隊的模型開發,預計年底前擴及GitHub Copilot與Microsoft Foundry。
相較前代,Maia 300除了針對長上下文推理、低延遲對話與多步驟AI代理人任務進行最佳化,在記憶體效能上的提升最為顯著。Maia 200採用台積電3奈米製程,配備216GB HBM3e記憶體,頻寬約7TB/s;Maia 300改採多晶粒(Chiplet)架構,運算晶粒使用台積電強化版2奈米(N2P)製程,記憶體升級為288GB HBM4,容量增加33%,頻寬由約7TB/s提升至18TB/s,約為前代的2.5倍。
除了單顆晶片的提升,Maia 300也把每個機櫃可搭載的加速器數量從48顆增加至96顆。根據微軟說法,新系統的機櫃級token吞吐量最高可達Maia 200的7倍,每瓦效能達前代的2.5倍以上。微軟也預估,Maia 300每百萬瓦(MW)可產生的token數,比領先的GPU系統高出40%。
這與Google自研張量處理單元(TPU)的路線類似:提高運算效率、控制成本,並降低對Nvidia等外部晶片供應商的依賴。當各家雲端巨頭都開始用自己的晶片支撐自家服務,誰能用更低成本、更高效率提供推論運算,就會在AI應用普及的下半場掌握更大的主導權。
接下來值得關注的是,Maia 300在2027年真正上線後,實際運作效能是否能兌現發表時宣稱的數字。新一代改用Chiplet架構,設計複雜度更高,量產良率與散熱管理都將是考驗。
在Nvidia仍主導AI訓練市場的格局下,雲端巨頭的自研晶片短期內未必能撼動其地位,但從推論端開始,成本與效率的比拼已經展開。Maia 300的登場,為這場競賽又添了一個新的變數。