觀點網訊:11月17日消息,最新數據顯示,國內日均詞元調用量已突破500萬億。

智能算力短期內難以補足,只能從存量算力中提升效率。

2025年,鄭緯民院士團隊研發的大模型推理系統Mooncake獲得埃裏克·裏德爾最佳論文獎,核心是用PD分離技術提升存量算力利用效率,通過軟件調度把現有算力用足。

據介紹,P負責讀入用戶問題,D負責生成回答。傳統方式下,同一批算力輪流承擔這兩項任務;PD分離讓一組算力只讀題,把結果傳給另一組專門答題。

在同樣硬件規模下,該系統多承接75%的用戶請求,長文本吞吐能力提升五倍以上。