雙方在MTT S5000上,利用FP8低精度推理技術,完成了對DeepSeek V3 671B滿血版大模型的深度适配與性能測試。
觀點網訊:1月21日 ,摩爾線程與矽基流動聯合宣布,雙方在MTT S5000上,利用FP8低精度推理技術,完成了對DeepSeek V3 671B滿血版大模型的深度适配與性能測試。
據介紹,實測單卡Prefill(預填充)吞吐超4000tokens/s,Decode(解碼)吞吐超1000tokens/s,單卡速度逼近國際頂尖産品。
免責聲明:本文内容與數據由觀點根據公開信息整理,不構成投資建議,使用前請核實。
審校:
