觀點網訊:據中科曙光消息,近日,中科曙光分佈式存儲ParaStor成為業界首家接入Mooncake社區的商用分佈式存儲,首次完成商用分佈式存儲後端的生產環境落地,並輸出完整可複製的商業化落地方案,相關技術能力已全部合入Mooncake社區主幹。
Mooncake是開源大模型分佈式KV Cache緩存平臺,目前已提供內存池化、本地SSD卸載兩種方案。大模型推理過程會產生大量中間數據KV Cache,高效保存並複用這些緩存數據可減少重複計算,降低算力消耗和AI運行成本。
內存方案成本高,本地SSD方案受單機容量、故障和擴容限制,外置分佈式存儲則具備大容量、彈性擴展和資源池化等優勢,可與AI訓推業務共用一套存儲基礎設施。
針對外置存儲用於生產環境需解決的容量彈性擴展、數據恢復、批量讀寫性能、異常場景下穩定運行等問題,中科曙光ParaStor分佈式存儲研發團隊對Mooncake DFS的存儲分配邏輯進行模塊化改造,圍繞標準化接入、動態擴容和IO鏈路優化,使商用分佈式存儲首次進入大模型推理核心業務鏈路,承接長尾KV Cache卸載工作。
實測方面,曙光聯合SGLang,基於國產加速卡與ParaStor F9000搭建端到端實測環境,模擬真實大模型業務負載。在64K上下文、單卡7併發下,KV Cache卸載實現16倍吞吐提升,達到DRAM池吞吐值的80%;平均首Token延遲和P90首Token延遲均保持在10s以內,滿足企業實際SLA要求。
