月之暗面開源2.8萬億參數模型Kimi K3,摩爾線程基于MTT S5000及MUSA軟件棧同日完成極速适配與穩定拉起,驗證國産GPU支撐萬億級大模型能力。
觀點網訊:7月28日,據摩爾線程發布,月之暗面正式開源2.8萬億參數模型Kimi K3,並發布模型權重與技術報告。
同日,摩爾線程基于AI訓推一體智算卡MTT S5000及MUSA軟件棧,率先完成Kimi K3的極速适配與穩定拉起。
Kimi K3是全球首個開源的3萬億級别模型,擁有2.8萬億參數,基于KDA混合線性注意力機制和注意力殘差技術構建,采用Gated MLA與Stable LatentMoE等架構創新,原生支持視覺理解,並擁有100萬token上下文窗口。
摩爾線程在模型開源後第一時間完成模型結構解析、權重加載、核心算子、緩存管理與分布式運行鏈路的适配,並打通從SGLang-MUSA推理框架到MATE算子庫、Triton MUSA、TileLang MUSA的适配路徑。
針對Kimi K3官方MXFP4 checkpoint,摩爾線程設計了加載期在線逐層量化方案,無需離線轉換,為Day-0快速拉起模型推理提供了關鍵支撐。
免責聲明:本文内容與數據由觀點根據公開信息整理,不構成投資建議,使用前請核實。
審校:歐詩雅
