觀點網訊:據中興通訊消息,該公司OEX超節點機櫃採用正交無背板互聯交換架構,通過縮短機櫃內GPU數據傳輸路徑、減少GPU等待時間,優化GPU算力。

在大模型訓練和推理中,一顆GPU往往難以獨立完成全部計算,需等其他GPU傳來中間結果或新的任務數據到位,才能繼續運行。協同的GPU越多、交換的數據越大,通信等待的問題越突出。

以張量並行為例,多顆GPU分擔大模型任務,每算完一步需互換中間結果,對同步要求高,任一GPU落後,其餘GPU需停下等待。在專家並行場景下,任務按輸入內容分發給不同的“專家GPU”,專家算完後結果回傳、彙總,GPU之間因此存在頻繁的任務分發、結果回傳和數據匯聚。

在機櫃間互聯方面,中興通訊Matrix集羣超節點推進兩條路徑,一是“電交換+光互聯”的主流路線,二是“光交換+光互聯”的前沿探索。

從OEX超節點機櫃內的正交無背板互聯,到構建萬卡的Matrix集羣超節點,再到光互連探索。