小紅書開源首個大模型dots.llm1,1420億參數MoE架構,推理激活140億參數降成本。使用11.2萬億token非合成數據,中文測試91.3分超同類模型,含14個訓練checkpoint推動技術共享
觀點網訊:6月9日,小紅書開源首個大模型dots.llm1。該模型為1420億參數專家混合模型(MoE),推理僅激活140億參數,降成本且高性能。
dots.llm1使用11.2萬億token非合成高質量數據,在中文測試中以91.3分超DeepSeek V2、V3及阿里Qwen2.5部分模型。
免責聲明:本文内容與數據由觀點根據公開信息整理,不構成投資建議,使用前請核實。
審校: