近日,在全球頂級網(wǎng)絡(luò)系統(tǒng)會議NSDI 2025上,阿里云基礎(chǔ)網(wǎng)絡(luò)技術(shù)5篇論文被主會錄用,論文研究成果涵蓋多個領(lǐng)域,包括面向大模型訓(xùn)練的網(wǎng)絡(luò)故障診斷、大模型訓(xùn)練網(wǎng)絡(luò)仿真、容器網(wǎng)絡(luò)性能問題診斷、基于AI推理的CDN流控算法智能選擇,以及GPU解耦型推理場景的性能優(yōu)化等五個重要領(lǐng)域。多項突破性成果的集中入選,標(biāo)志著阿里云在人工智能時代的計算機網(wǎng)絡(luò)和系統(tǒng)領(lǐng)域持續(xù)引領(lǐng)前沿技術(shù)。
NSDI是美國高等計算系統(tǒng)協(xié)會 (USENIX協(xié)會) 舉辦的頂級學(xué)術(shù)會議,與ACM SIGCOMM并列為計算機網(wǎng)絡(luò)和系統(tǒng)研究領(lǐng)域最高水平的兩大會議,被中國計算機學(xué)會(CCF)評為A類推薦會議,Core Conference Ranking也給予其A級別評價,代表了最前沿的科研水平和影響力。此次會議共收到666篇投稿,錄用83篇論文,錄取率不到12.5%,是NSDI歷史錄取率最低一次。
在此次入選的文章中,阿里云主創(chuàng)論文《Evolution of Aegis: Fault Diagnosis for AI Model Training Service in Production》總結(jié)了近一年多以來阿里云在支持大模型訓(xùn)練過程中的實踐與經(jīng)驗。在研究中,阿里云網(wǎng)絡(luò)、靈駿、PAI等技術(shù)共同打造了端+網(wǎng)+任務(wù)協(xié)同的系統(tǒng)性智算網(wǎng)絡(luò)診斷體系,將網(wǎng)絡(luò)故障診斷耗時降低97%,順利支持通義千問完成了多次模型版本的訓(xùn)練發(fā)布。
傳統(tǒng)的云計算診斷系統(tǒng)是針對通用計算場景設(shè)計的,在大模型場景下并不完全適用。由于大模型訓(xùn)練存在很多獨特的執(zhí)行特性,如大范圍的集合通信等,會導(dǎo)致諸多經(jīng)典診斷手段誤報,無法精準(zhǔn)完成問題定位。雖然頭部大模型公司有針對大模型訓(xùn)練場景專門設(shè)計的故障診斷系統(tǒng),但相對來說,方案對于提供公有云服務(wù)的解決方案來說有所局限。
(圖:Aegis與已有診斷系統(tǒng)對比與演進)
因此,在論文研究中,Aegis選擇了一條增強已有體系+訓(xùn)練過程感知的兩階段演進路線。在增強已有體系階段(Phase-1),Aegis將大量人工定位問題的經(jīng)驗進行梳理總結(jié),形成了一套在線日志分析+定點隔離診斷的問題定位體系,幫助降低了71%的任務(wù)中斷問題定位耗時。在訓(xùn)練過程感知階段(Phase-2),Aegis找到了集合通信庫這一橋接計算過程和通信過程的通用組件,并進行針對性的診斷能力增強,實現(xiàn)了基于集合通信信息的全面在線的故障診斷,進一步降低了91%的問題定位耗時。
在診斷訓(xùn)練任務(wù)失敗這類問題之外,Aegis還進一步覆蓋了性能回退場景的問題定位以及交付前問題的前置檢查。最終模型訓(xùn)練過程中的性能回退比例以及任務(wù)重啟次數(shù)都得到了大幅降低,全方位地為阿里云上的大模型訓(xùn)練任務(wù)的穩(wěn)定運行保駕護航。
(圖:阿里云基礎(chǔ)網(wǎng)絡(luò)技術(shù)5篇論文錄入全球網(wǎng)絡(luò)頂會NSDI2025)
阿里云智能研發(fā)副總裁、基礎(chǔ)網(wǎng)絡(luò)負責(zé)人蔡德忠表示:“從智算網(wǎng)絡(luò)集群異常診斷到大模型訓(xùn)練仿真系統(tǒng),從CDN智能控制到云原生網(wǎng)絡(luò)創(chuàng)新,阿里云持續(xù)將產(chǎn)業(yè)級技術(shù)難題和學(xué)術(shù)創(chuàng)新融合,為AI大模型時代下云計算基礎(chǔ)設(shè)施發(fā)展做出貢獻?!?/p>
- 阿里云基礎(chǔ)網(wǎng)絡(luò)技術(shù)5 篇論文入選全球網(wǎng)絡(luò)頂會NSDI 2025
- 2024年第四季度中國大陸云服務(wù)支出達到111億美元,阿里華為騰訊居前三
- 華為張修征:發(fā)揮“大雜燴”優(yōu)勢,四個方面投入推動AI應(yīng)用落地
- 華為云重磅發(fā)布CloudMatrix 384超節(jié)點,多項性能全面突破
- 鯤鵬開源開放創(chuàng)新成效卓著,計算產(chǎn)業(yè)革新行勝于言
- 浪潮云“分布式智能云”戰(zhàn)略正式發(fā)布 目標(biāo)年內(nèi)分布式智能云節(jié)點破千個
- IDC:2025年亞太地區(qū)云支出將達到2500億美元
- 亞馬遜云科技在Amazon Bedrock提供完全托管的DeepSeek-R1模型
- 正受科技與IBM攜手合作,共推制造業(yè)數(shù)智化轉(zhuǎn)型
- 世界第一!阿里云PolarDB登頂全球數(shù)據(jù)庫性能及性價比排行榜
免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負任何法律責(zé)任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時,應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明,并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實,溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。