觀點網訊：11月4日，月之暗面正式開源Kimi K3.1 Pro旗艦模型權重。昇騰隨即完成模型適配，並在Atlas 950 SuperPoD上實現LoRA微調訓練。

Kimi K3.1 Pro是Moonshot AI推出的新一代3萬億級開放權重原生多模態模型，總參數規模達2.8萬億。該模型採用Stable LatentMoE稀疏專家架構，擁有896個路由專家，每個Token激活16個專家。

模型採用KDA與Gated DSA混合注意力架構，其中約四分之三的Attention Block採用KDA線性注意力，並結合Top-2048稀疏注意力機制，支持最高100萬Token上下文及原生圖像理解。依託大規模聯合強化學習及系統級優化，Kimi K3.1 Pro在長程自主編程、複雜Agent任務、3D創作、金融研究和深度知識工作等領域實現能力提升。

圍繞超大規模MoE模型的訓練挑戰，昇騰依託超節點大帶寬、低時延和內存統一編址的架構優勢，構建覆蓋模型適配、混合並行、算子加速、通信優化和顯存管理的全鏈路訓練能力。同時，藉助Agent驅動的自動化開發流程，實現新模型天級接入與快速迭代。

計算側，KDA的狀態遞推、分塊計算與DSA的稀疏索引、非連續訪存交織，增加了算子融合與執行調度難度。

通信側，896個專家的稀疏路由容易出現專家Token分佈不均、單專家計算批量偏小等問題。

顯存側，2.8T參數僅BF16權重就約佔5.6TB。

昇騰基於FSDP2+EP混合並行架構，實現專家參數分佈式部署與高效聚合。目前已在128卡Atlas 950 SuperPoD上完成基於FSDP2+EP64的Kimi K3.1 Pro LoRA微調訓練驗證。

針對KDA線性注意力，昇騰設計大前向、大反向融合算子，將多個計算階段整合至單個Kernel中。針對DSA稀疏注意力，採用LI/SFA/SFAG等融合AscendC算子實現模型接入，實現相比原有小算子2倍以上性能提升。針對AttnRes深度殘差機制，昇騰依託Triton Ascend編譯框架與BiSheng編譯器，快速完成創新結構的前向、反向算子開發與接入。

針對MoE訓練全鏈路性能瓶頸，昇騰圍繞Permute、Unpermute、Grouped GEMM等核心算子開展深度融合與高性能優化，結合All-to-All高性能通信、通信計算重疊及專家負載均衡技術，打通Token Dispatch、Expert Compute、Combine全鏈路執行。

昇騰引入Swap Core算子級選擇性緩存機制，對指定MatMul/GMM算子的計算結果進行二級緩存，支持HBM與DDR分層存儲。在當前測試配置下，訓練性能平均提升15%。

針對大詞表顯存瓶頸，昇騰通過Chunk Loss與CCE Loss實現序列維度和詞表維度的雙重優化。Chunk Loss沿序列維度進行分塊，CCE Loss沿詞表維度分塊計算。

基於128卡Atlas 950 SuperPoD開展的LoRA微調實踐顯示，隨機初始化訓練初始Loss約為13.5，經過400餘步訓練後收斂至1.7左右。加載開源權重進行LoRA微調，初始Loss約為1.85，經過500餘步微調後收斂至0.27左右。