騰訊混元基于首個産業級2Bit端側量化方案,正式推出面向消費級硬件場景的“極小”模型HY-1.8B-2Bit。
觀點網訊:2月10日,騰訊混元基于首個産業級2Bit端側量化方案,正式推出面向消費級硬件場景的“極小”模型HY-1.8B-2Bit。
該模型等效參數量僅0.3B,内存占用僅600MB,通過對HY-1.8B-Instruct模型進行2比特量化感知訓練産出。
相較于原始精度模型,HY-1.8B-2Bit等效參數量降低6倍,在保留原模型全思考能力的同時,端側生成速度提升2—3倍,可在邊緣設備無壓力部署,是首個實現2Bit産業級量化的端側模型實踐。
免責聲明:本文内容與數據由觀點根據公開信息整理,不構成投資建議,使用前請核實。
審校:
