小紅書開源1420億參數大模型dots.llm1

观点网

2025-06-09 08:01

  • 小紅書開源首個大模型dots.llm1,1420億參數MoE架構,推理激活140億參數降成本。使用11.2萬億token非合成數據,中文測試91.3分超同類模型,含14個訓練checkpoint推動技術共享

    觀點網訊:6月9日,小紅書開源首個大模型dots.llm1。該模型為1420億參數專家混合模型(MoE),推理僅激活140億參數,降成本且高性能。

    dots.llm1使用11.2萬億token非合成高質量數據,在中文測試中以91.3分超DeepSeek V2、V3及阿里Qwen2.5部分模型。

    免責聲明:本文内容與數據由觀點根據公開信息整理,不構成投資建議,使用前請核實。

    審校:



    相關話題讨論



    你可能感興趣的話題

    科技

    大模型