騰訊混元AI Infra團隊宣布對開源高性能LLM推理核心算子庫HPC-Ops進行重大升級，包含五大關鍵算子，旨在解決推理系統中的延遲、顯存和通信瓶頸，多項性能指標優于現有開源基線。
觀點網訊：6月11日，騰訊混元AI Infra團隊宣布，其開源的高性能大語言模型推理核心算子庫HPC-Ops迎來全面升級。本次更新包含五大關鍵算子，旨在進一步提升推理系統對動态業務負載的适應性，並滿足復雜精度與高性能融合算子的需求。
此次升級聚焦于解決實際工程瓶頸。在主流推理平台上，新版本有效緩解了Attention長尾延遲、顯存搬運開銷以及跨卡通信等關鍵問題，多項性能指標顯著優于現有的開源基線方案。
免責聲明：本文内容與數據由觀點根據公開信息整理，不構成投資建議，使用前請核實。
審校：
版權聲明：觀點網絡信息科技有限公司及廣州觀點信息資訊服務有限公司擁有及保留其主辦暨承辦網站、論壇及活動的所有資料（包括但不限於文字、圖片、音頻、視頻資料及頁面設計、編排、軟件等）的所有權、版權等其他相關知識產權。除經授權合法使用上述資料外，未征得我司書面許可並付費，任何單位和個人不得以任何理由及方式使用上述資料（包括但不限於轉載、轉讓、授權他人使用等），否則我司將依法追究其法律責任以及賠償責任。
承印人：觀點網絡信息科技有限公司 (Guandian Network Information Technology Co.,Ltd.)
地址：香港灣仔菲林明道8號大同大廈15樓1505室（Room 5,15th Floor,Tai Tung Building,8 Fleming Road,Wan chai,HongKong Island,HongKong. ）
電郵：info@guandian.hk
移動端下載