3月28日，北京大學(xué)鯤鵬昇騰科教創(chuàng)新卓越中心特訓(xùn)營(yíng)在北京大學(xué)新燕園校區(qū)計(jì)算機(jī)大樓成功舉辦，本次特訓(xùn)營(yíng)旨在深入探討昇騰技術(shù)棧在大模型應(yīng)用中的前沿技術(shù)，特別是基于北京大學(xué)自研SCOW平臺(tái)和華為昇騰的DeepSeek本地化部署與推理優(yōu)化，并通過(guò)實(shí)踐操作和技術(shù)專家面對(duì)面交流，進(jìn)一步激發(fā)學(xué)生們的創(chuàng)新思維與學(xué)術(shù)視野。
深入解析：DeepSeek推理技術(shù)與昇騰平臺(tái)的融合
活動(dòng)伊始，昇騰生態(tài)技術(shù)專家許濤就“DeepSeek-MoE模型技術(shù)演變分析”，深入解讀了DeepSeek系列模型技術(shù)演變。DeepSeek-MoE模型自推出以來(lái)不斷優(yōu)化，通過(guò)增加模型大小和專家數(shù)量，降低專家激活比，來(lái)提升性能，在架構(gòu)和訓(xùn)練策略上持續(xù)創(chuàng)新。在技術(shù)實(shí)現(xiàn)方面，模型采用了多種優(yōu)化方法，如在訓(xùn)練過(guò)程中，利用DualPipe雙向流水線方法減少通信開(kāi)銷，根據(jù)不同的算子需求選擇合適精度計(jì)算，引入MTP方法，以多個(gè)Token作為監(jiān)督優(yōu)化模型。同時(shí)，昇騰已經(jīng)完成對(duì)Deepseek的適配，可以高效利用超節(jié)點(diǎn)內(nèi)的高速通信帶寬，有望在DeepSeek時(shí)代取得更好的發(fā)展。
（昇騰生態(tài)技術(shù)專家 許濤）
實(shí)踐分享：基于昇騰的DeepSeek全棧開(kāi)源推理方案
北京大學(xué)聯(lián)合華為發(fā)布的DeepSeek全棧開(kāi)源推理方案依托全棧開(kāi)源組件構(gòu)建，基于北京大學(xué)自主研發(fā)的SCOW算力平臺(tái)系統(tǒng)，整合了DeepSeek、openEuler、MindSpore與vLLM/RAY等社區(qū)開(kāi)源組件，通過(guò)開(kāi)放協(xié)作打破技術(shù)壁壘，持續(xù)推動(dòng)技術(shù)創(chuàng)新。北京大學(xué)計(jì)算中心工程師龍汀汀在特訓(xùn)營(yíng)中詳細(xì)介紹了該方案，現(xiàn)場(chǎng)演示了系統(tǒng)如何快速適應(yīng)不同的AI框架，并展示其在多種應(yīng)用場(chǎng)景下的高效性能。
（北京大學(xué)計(jì)算中心工程師 龍汀?。?/p>
上手實(shí)操：邊緣設(shè)備上的昇騰技術(shù)實(shí)踐
在本次特訓(xùn)營(yíng)的開(kāi)發(fā)實(shí)戰(zhàn)環(huán)節(jié)，學(xué)生們基于昇思MindSpore框架，在香橙派AI Pro開(kāi)發(fā)板（20TOPS）上進(jìn)行模型部署。值得一提的是，目前香橙派昇騰系列產(chǎn)品已經(jīng)率先完成了與 DeepSeek 模型的深度適配，利用開(kāi)箱即用模型，讓邊緣離線部署變得輕松高效。通過(guò)實(shí)操，學(xué)生們親身感受到了昇騰無(wú)需依賴云端的強(qiáng)大算力，直接在邊緣設(shè)備上實(shí)現(xiàn)高性能計(jì)算及積木式開(kāi)發(fā)，既保障了數(shù)據(jù)處理的隱私安全，又大幅提升了響應(yīng)效率。這種“端側(cè)智能”的實(shí)戰(zhàn)體驗(yàn)，不僅讓學(xué)習(xí)更直觀，更讓大家領(lǐng)略到AI落地應(yīng)用的無(wú)限可能。
（北京大學(xué)學(xué)生現(xiàn)場(chǎng)實(shí)操香橙派AI Pro開(kāi)發(fā)板）
開(kāi)放討論：技術(shù)專家與學(xué)者面對(duì)面答疑
在活動(dòng)的最后，學(xué)生們與華為計(jì)算戰(zhàn)略規(guī)劃專家、北京大學(xué)計(jì)算中心工程師、AI安全解決方案專家、昇騰生態(tài)技術(shù)專家們一起進(jìn)行了面對(duì)面的互動(dòng)，從鯤鵬昇騰設(shè)備使用到技術(shù)難題再到未來(lái)發(fā)展趨勢(shì)，涵蓋諸多領(lǐng)域。在算子開(kāi)發(fā)與適配方面，學(xué)生們提出的問(wèn)題得到了專家們細(xì)致且富有前瞻性的解答。關(guān)于自定義算子綁定復(fù)雜、編譯耗時(shí)的問(wèn)題，專家們表示除了相關(guān)QA文檔資源會(huì)隨商業(yè)版本盡快發(fā)布外，也可直接咨詢?nèi)A為研發(fā)專家加速問(wèn)題解決。同時(shí)歡迎高校師生將自身解決問(wèn)題的過(guò)程發(fā)布為案例教程，這些無(wú)疑為學(xué)生們后續(xù)的開(kāi)發(fā)工作提供了有力支持。對(duì)于開(kāi)源編譯器支持的疑問(wèn)，專家們?cè)敿?xì)介紹了相關(guān)接口的開(kāi)源情況以及正在推進(jìn)的研發(fā)工作，讓學(xué)生們了解到未來(lái)算子開(kāi)發(fā)將更加簡(jiǎn)化，這極大地激發(fā)了學(xué)生們探索新技術(shù)的熱情。
硬件性能與生態(tài)建設(shè)也是互動(dòng)的焦點(diǎn)。學(xué)生們關(guān)心的端側(cè)異構(gòu)模型部署問(wèn)題，專家深入淺出地講解了華為在這方面的布局和技術(shù)優(yōu)勢(shì)。他們提到，華為在端側(cè)NPU和GPU的協(xié)同工作上有著長(zhǎng)遠(yuǎn)的規(guī)劃，并且在泛邊緣或泛端場(chǎng)景下，軟件體系的通用性為開(kāi)發(fā)者提供了更為廣闊的發(fā)展空間，這讓學(xué)生們認(rèn)識(shí)到華為計(jì)算生態(tài)的潛力，也為他們未來(lái)的研究方向提供了新的思路。
（開(kāi)放交流環(huán)節(jié) 專家學(xué)者與學(xué)生們互動(dòng)）
本次特訓(xùn)營(yíng)的圓滿舉辦是北京大學(xué)鯤鵬昇騰科教創(chuàng)新卓越中心在AI技術(shù)創(chuàng)新和人才培養(yǎng)方面的一次成功實(shí)踐。北京大學(xué)鯤鵬昇騰科教創(chuàng)新卓越中心自成立以來(lái)，致力于構(gòu)建基于鯤鵬昇騰技術(shù)路線的校級(jí)生態(tài)合作平臺(tái)，圍繞大學(xué)計(jì)算產(chǎn)業(yè)前沿課題研究、課程體系建設(shè)、研究人才培養(yǎng)等方面展開(kāi)合作，為產(chǎn)業(yè)輸出高質(zhì)量鯤鵬昇騰創(chuàng)新人才，孵化和培育根植中國(guó)的世界級(jí)科研創(chuàng)新成果。未來(lái)，鯤鵬昇騰科教創(chuàng)新卓越中心將繼續(xù)開(kāi)展一系列針對(duì)高校師生的培訓(xùn)活動(dòng)，幫助他們?cè)诳蒲袆?chuàng)新與技術(shù)應(yīng)用中取得更好的成果，推動(dòng)人工智能技術(shù)的進(jìn)步與產(chǎn)業(yè)的發(fā)展。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 ）
