VeOmni采用以模型為中心的分布式訓練方案,可将復雜的分布式並行邏輯與模型計算解耦,為全模态模型組合設置高效的並行訓練方案。
觀點網訊:8月14日消息,字節跳動Seed團隊發布並開源了全模态PyTorch原生訓練框架——VeOmni。
據介紹,VeOmni采用以模型為中心的分布式訓練方案,可将復雜的分布式並行邏輯與模型計算解耦,為全模态模型組合設置高效的並行訓練方案。
據分析,這一方式可大幅降低工程開銷,提升訓練效率和擴展性,将數周的工程開發時間縮短至幾天。
免責聲明:本文内容與數據由觀點根據公開信息整理,不構成投資建議,使用前請核實。
審校:徐耀輝
