4月30日，智譜發布技術博客首次繫統披露GLM-5繫列模型在超大規模Coding Agent場景下的底層推理技術突破，LayerSplit方案使吞吐量最高提升132%。
觀點網訊：4月30日，智譜發布技術博客《Scaling Pain：超大規模Coding Agent推理實踐》，首次繫統披露GLM-5繫列模型在超大規模Coding Agent調用場景下的底層推理技術突破。
據介紹，針對Context Parallel策略中的KV Cache冗余存儲問題，智譜設計實現了KV Cache分層存儲方案LayerSplit，每張GPU僅持有部分層的KV Cache，通過廣播機制完成協同計算。在Cache命中率90%條件下，40K至120K請求長度區間内，繫統吞吐量提升10%至132%，且上下文越長收益越顯著。
信息顯示，智譜團隊不僅在自有推理鏈路中定位並修復了PD分離架構下的KV Cache跨節點復用競态，更在開源推理框架SGLang源代碼層面修復了HiCache模塊的加載時序缺失問題，修復方案已被SGLang開源社區采納。
免責聲明：本文内容與數據由觀點根據公開信息整理，不構成投資建議，使用前請核實。
審校：
版權聲明：觀點網絡信息科技有限公司及廣州觀點信息資訊服務有限公司擁有及保留其主辦暨承辦網站、論壇及活動的所有資料（包括但不限於文字、圖片、音頻、視頻資料及頁面設計、編排、軟件等）的所有權、版權等其他相關知識產權。除經授權合法使用上述資料外，未征得我司書面許可並付費，任何單位和個人不得以任何理由及方式使用上述資料（包括但不限於轉載、轉讓、授權他人使用等），否則我司將依法追究其法律責任以及賠償責任。
承印人：觀點網絡信息科技有限公司 (Guandian Network Information Technology Co.,Ltd.)
地址：香港灣仔菲林明道8號大同大廈15樓1505室（Room 5,15th Floor,Tai Tung Building,8 Fleming Road,Wan chai,HongKong Island,HongKong. ）
電郵：info@guandian.hk
移動端下載