騰訊混元提出Stem稀疏注意力算法 已被機器學習頂會ICML-26收錄

科技 AI 2026-06-08 13:03:40
為你播報
约 2分钟
6月8日消息,騰訊混元近日提出Stem稀疏注意力算法,通過Token位置衰減與輸出感知度量兩大創新,僅用25%算力逼近稠密注意力精度,配套HPC算子庫實現端到端硬件加速。

觀點網訊:6月8日消息,騰訊混元近日提出Stem稀疏注意力算法,從"因果信息流"重新審視塊級稀疏,采用Token位置衰減(TPD)和輸出感知度量(OAM)兩大創新,僅用25%算力即逼近稠密注意力的精度。

據介紹,該算法已被機器學習頂會ICML-26收錄,配套HPC算子庫将理論加速比轉化為端到端實測性能。算子層面,HPC 開源的 Stem+BSA 算子将稀疏收益轉化為真實硬件加速,128K 上下文下首字延遲降低3.6倍。

信息顯示,算法決定"省哪些計算",算子決定"省下的計算能快多少",兩者協同構成從理論到部署的完整閉環,目前該算法已集成至Hy3 preview推理框架。

免責聲明:本文内容與數據由觀點根據公開信息整理,不構成投資建議,使用前請核實。

審校:
返回