通義千問發布首個千億級參數開源模型

观点网

2024-04-28 14:58

  • 通義千問發布首個千億級參數開源模型Qwen1.5-110B,繼承Transformer架構與分組查詢注意力方法,支持32K上下文長度及多語言處理。

    觀點網訊:4月28日,通義千問宣布推出1100億參數模型Qwen1.5-110B,標志着其成為全繫列中首個達到千億級參數的開源模型。該模型繼續沿用了Qwen1.5繫列的Transformer解碼器架構,並采納了分組查詢注意力方法,顯著提高了模型在推理過程中的效率。

    此110B模型的一大亮點在于其能夠支持長達32K的上下文長度,並且擁有卓越的多語言處理能力。它能夠兼容包括中文、英語、法語、德語、西班牙語、俄語、日語、韓語、越南語以及阿拉伯語在内的多種語言,這一特性使其在全球化的應用場景中具有顯著優勢。

    審校:武瑾瑩



    相關話題讨論



    你可能感興趣的話題

    AI

    科技