華為、USTC 與北京大學在用於 MoE 模型訓練的 Ascend A3 上實現 58% 的加速

根據 Beating,華為、清華大學的中國科學技術大學(USTC)以及北京大學的研究人員揭露了 HyperParallel-MoE,一種為 Ascend A3 晶片設計的編譯器排程框架。該框架透過在 MoE 專家計算模組中降低 36% 的延遲,並在 256 節點叢集上運行 671B 參數的類 DeepSeek 模型時,實現整體資料處理速度提升 58%(快 1.49–1.58 倍),同時單步訓練速度也提升了 8–9%。
免責聲明:本頁面資訊可能來自第三方來源,僅供參考,不代表 Gate 的立場或觀點,亦不構成任何財務、投資或法律建議。虛擬資產交易具有高風險,請勿僅依賴本頁資訊作出決策。詳情請參閱 免責聲明
回覆
0/400
暫無回覆