螞蟻發佈萬億參數旗艦模型Ling-1T,開啓螞蟻百靈大模型2.0版

10月9日凌晨,螞蟻集團發佈萬億參數的通用語言模型 Ling-1T。Ling-1T是螞蟻百靈大模型Ling 2.0系列的第一款旗艦模型,也是螞蟻百靈團隊迄今爲止推出的規模最大、能力最強的非思考大模型。

據螞蟻百靈團隊透露,Ling-1T沿用Ling 2.0架構,在20T+ tokens高質量、高推理濃度的語料上完成預訓練,支持最高128K上下文窗口,通過“中訓練+後訓練”的演進式思維鏈(Evo-CoT)極大地提升了模型的高效思考和精準推理能力。

值得一提的是,Ling-1T 全程採用 FP8 混合精度訓練(部分技術已開源),是目前已知規模最大的使用 FP8 訓練的基座模型。這一設計爲訓練帶來了顯著的顯存節省、更靈活的並行切分策略和 15%+ 的端到端加速。

在強化學習階段,螞蟻百靈團隊創新性地提出了LPO方法(Linguistics-Unit Policy Optimization,LingPO) ,這是一種以“句子”爲粒度的策略優化算法,爲萬億參數模型的穩定訓練提供了關鍵支持。這種方法既避免了詞元級別的破碎感,也克服了序列級別的籠統性,使得獎勵信號與模型行爲在語義層面實現了更精準的對齊。

另外,螞蟻百靈團隊提出了“語法-功能-美學”的混合獎勵機制,在確保代碼正確、功能完善的同時持續提升這個萬億基座對視覺美學的認知。在ArtifactsBench前端能力基準上,Ling-1T得分59.31,在可視化和前端開發任務領域,僅次於Gemini-2.5-Pro-lowthink的得分60.28,以顯著優勢位居開源模型榜首。

據瞭解,除了Ling-1T這款非思考模型,螞蟻百靈團隊還在訓練萬億參數級的深度思考大模型Ring-1T,已在9月30日開源了preview版。目前,開發者通過Hugging Face和螞蟻百寶箱等平臺都可以體驗Ling-1T模型。



Scroll to Top