昇騰推出的大規(guī)模專家并行策略，其核心思想是通過跨節(jié)點的專家分片部署，將龐大的專家模型（如千億參數(shù)的MoE模型）拆解為多個子專家模塊，分別分配到不同計算節(jié)點上獨立執(zhí)行。
本期，將為大家重點介紹昇騰大規(guī)模專家并行針對通信時延的優(yōu)化：通過雙流并行技術創(chuàng)新降低通信開銷。
MoE場景通信時延瓶頸與優(yōu)化路徑
大規(guī)模專家并行策略對跨節(jié)點通信時延提出了更高的要求，這一挑戰(zhàn)在AI集群中具有普遍性：首先，隨著模型參數(shù)規(guī)模的指數(shù)增長，傳統(tǒng)集合通信模式（如AllToAll）面臨嚴重的帶寬競爭問題，特別是在千卡級以上集群中，通信延遲會隨節(jié)點數(shù)量增加而顯著上升；其次，異構計算環(huán)境下的非對稱資源配置（如計算卡數(shù)量不等、內(nèi)存帶寬差異）導致通信負載難以均衡，產(chǎn)生“長尾效應”；再者，現(xiàn)代MoE架構特有的動態(tài)專家選擇機制，使得通信模式從靜態(tài)變?yōu)閯討B(tài)，進一步加劇了傳統(tǒng)通信方案的適配難度。
昇騰MoE雙流并行優(yōu)化
01
Prefill micro-batch雙流并行：
計算和通信相互掩蓋，性能提升20%+
LLM大模型在推理的Prefill階段，由于輸入序列長度（SeqLen）較長，其性能主要受限于計算耗時——隨著BatchSize增加，推理計算耗時呈線性增長。同時，Prefill階段的通信數(shù)據(jù)量為BatchSize * SeqLen * HiddenSize，隨著BatchSize和序列長度的增加，通信數(shù)據(jù)量也顯著增加，導致通信耗時占總耗時的20%-30%。
對此，昇騰CANN實現(xiàn)了大幅優(yōu)化，將Prefill的Batch拆分為多個更小的micro batch。如下圖所示，通過將micro batch之間的計算和通信過程進行重疊，在計算耗時較長的情況下，將通信耗時完全掩蓋，實現(xiàn)20%+的性能收益。
圖1 Prefill micro-batch雙流并行
02
Weight預取雙流并行：
訪存、通信并行，性能提升10%+
在推理的Decode階段，權重（Weight）加載耗時較長，主要原因是Weight需要頻繁訪問高帶寬內(nèi)存（HBM），導致緩存帶寬開銷較大。
針對該問題，利用昇騰910系列硬件L2 Cache層的大容量、高帶寬特性，預取Weight并存儲到L2 Cache中，可以實現(xiàn)通信與Weight加載并行，從而加速后續(xù)的Cube運算，顯著降低Weight加載時間，同時提升Matmul算子的性能，整網(wǎng)性能提升10%+。
圖2 Weight預取雙流并行
【使用方法】
以上優(yōu)化特性已在昇騰CANN最新版本中實現(xiàn)，歡迎大家配套MindIE使用、體驗。CANN包安裝過程可參考社區(qū)文檔：http://www.intimacywithspirit.com/uploadfile/pic2020/2025/0418/20250418160004202G.html>
【昇騰未來演進思考】
昇騰將繼續(xù)探索MoE模型的通信優(yōu)化。我們將充分利用昇騰硬件上多核并發(fā)能力，加速通信任務的下發(fā)和并發(fā)傳輸；同時，探索通信算子與其他計算算子更細粒度的通算融合，減少或掩蓋啟動和傳輸?shù)拈_銷，為更多的客戶、伙伴提供更強大的技術能力。
（免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權或存在不實內(nèi)容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內(nèi)容或斷開相關鏈接。 ）
