訊飛星火與華為數據存儲強強聯手，“以存強算”助力AI集群算力利用率飆升30%

極客網·極客觀察（朱飛）10月25日 在風云變幻的AI大模型時代，科大訊飛與華為的聯合拓展令人印象深刻。過去幾年來，雙方協同創(chuàng)新突破重重障礙，一次次證明國產算力基礎設施可以支撐國產AI大模型良性發(fā)展，在關鍵性能和體驗上不輸世界領先玩家，同時具備更佳的成本效益。

10月24日，以“萬物智聯 生生不息”為主題的科大訊飛全球1024開發(fā)者節(jié)隆重舉行。下午的央國企論壇上，科大訊飛與華為再度強強聯手，共同發(fā)布訊飛星火&華為數據存儲AI解決方案，將AI集群算力利用率提升30%，助力國產大模型創(chuàng)新突圍，在業(yè)內樹立起“以存強算”的又一標桿。

該AI存儲解決方案通過華為OceanStor A系列全新硬件、訊飛星火基礎大模型軟硬協同，深度優(yōu)化，可支持萬億參數大模型，大規(guī)模算力集群的訓推任務，實現訓推全流程加速，助力大模型算力利用率大幅提升，為業(yè)界輸出了一份凝結雙方技術與經驗的標準方案。

極致性能“以存強算”，AI集群算力利用率提升超30%

根據規(guī)模定律（Scaling Law），更強的算力加上更多的有效訓練數據，可以得到更好的AI大模型。這意味著，大模型的訓練和推理不僅需要強大的算力支持，還需要高效的存儲系統(tǒng)來保證數據的快速讀寫和處理，存儲系統(tǒng)的性能直接影響到大模型的訓練效率和效果?。

為了解決大模型訓練中的存儲挑戰(zhàn)，需要采用高性能的存儲方案。例如，使用高性能NAS存儲系統(tǒng)可以顯著提高數據讀寫速度，減少訓練過程中的等待時間?。此外，優(yōu)化存儲架構和采用更適合大模型訓練的存儲解決方案，也可以提高訓練效率?。

此番發(fā)布的訊飛星火&華為數據存儲AI解決方案，正采用了華為新一代OceanStor A系列AI存儲，通過創(chuàng)新數控分離架構，高性能并行客戶端，實現了百TB級帶寬，百億級IOPS，將訓練集加載效率提升8倍，斷點續(xù)訓速度提升4倍，最終使得AI集群算力的利用率提升了超過30%。

資料顯示，隨著大模型集群規(guī)模增長，集群的算力利用率并未同步提升，千卡以上大模型算力利用率不足50%。而科大訊飛聯合華為搭建的大規(guī)模AI集群，算力利用率常年保持在60%以上的高位，大幅領先于業(yè)內水平，背后的支撐之一正是華為數據存儲提供的高性能存力底座。

超大規(guī)模調度，AI數據湖讓大模型數據全局可管可用

在追求存儲性能的同時，存儲容量也是大模型存力底座的關鍵。隨著AI技術快速發(fā)展，AI大模型從單模態(tài)發(fā)展到多模態(tài)，短短數年時間大模型訓練的數據量已呈現1000倍的增長，亟需為AI算力集群建設AI數據湖，規(guī)模擴展并打破數據煙囪，實現全局流動可管可用。

大模型訓練需要處理的數據通常以圖片、文檔等小文件的形式存在，傳統(tǒng)的存儲系統(tǒng)面對這些小文件存在加載速度慢的問題，影響訓練效率?。企業(yè)擁抱大模型首當其沖便是要對這些海量多源異構數據進行高效管理，做好數據歸集、預處理等準備工作，才能保障大模型訓練的效率及效果。

在這個維度，華為新一代OceanStor A系列AI存儲具備無損多協議互通、冷熱數據智能分級專業(yè)存儲能力，支持512控橫向大規(guī)模擴展能力，支持EB級存儲空間；通過使用統(tǒng)一的AI數據湖存儲大模型數據，可實現冷熱數據分級存儲，跨越數據孤島，打破數據界限，確保了模型內數據的高效流動，為大模型訓練做好充分的數據準備。

伴隨著訊飛星火&華為數據存儲AI解決方案的發(fā)布，訊飛星火訓推平臺的AI數據湖成功經驗也浮出水面。據介紹，經過多輪技術迭代演進，訊飛建設AI數據湖底座，有效支撐了十萬億參數級別的通用多模態(tài)大模型訓練，并大幅提升了集群算力利用率。

技術與經驗深度耦合，構建AI Ready的數據基礎設施

值得注意的是，此次發(fā)布的訊飛星火&華為數據存儲AI解決方案并非雙方的“即興之作”，此前雙方便在存算分離、統(tǒng)一存儲平臺等方面展開了合作。隨著大模型持續(xù)演進，兩家又于去年7月正式啟動AI存力底座的聯合創(chuàng)新項目，旨在共同打造面向AI大模型場景的最佳數據存儲解決方案。

實際上，在驅動AI發(fā)展的三駕馬車中，隨著算力逐漸趨同、算法加速收斂，蓬勃發(fā)展的數據成了影響大模型效果的核心要素。業(yè)界也逐漸意識到，數據規(guī)模和質量決定AI智能的高度，為了提升從數據獲取、數據預處理、模型訓練、推理應用的AI全流程效率，消除數據孤島帶來的海量數據搬遷，一個高性能、穩(wěn)定可靠的統(tǒng)一存力底座是必不可少的基石。

為此，科大訊飛在依托全國產化算力平臺打造訊飛星火認知基礎大模型時，也基于大模型數據和訓練閉環(huán)全流程設計、訓練和推理一體化設計的思路，自研超大規(guī)模大模型訓練平臺，迭代升級自家的大模型，先行先試趟出了一條探索Storage for AI、構建AI Ready的數據基礎設施的“訊飛之道”。

資料顯示，在訊飛大模型訓練平臺的加持下，訊飛星火大模型歷經數個版本的升級，目前已在文本生成、語言理解、知識問答、邏輯推理、數學能力、代碼能力、多模交互7大核心能力維度實現全國領先，通過中國信通院AIGC大模型基礎能力評測并獲得4+級的高評分，部分能力更是全面超過OpenAI的最新模型GPT-4 Turbo。

實踐出真知，相信這種源自訊飛星火與華為數據存儲雙方的技術與經驗，深度耦合而“孵化”出來的AI存儲解決方案，必將能夠加速AI Ready的數據基礎設施建設，為客戶帶來高性能、高擴展和更智能的AI訓推體驗，推動AI產業(yè)發(fā)展，將AI大模型的算力真正轉化為企業(yè)組織的新質生產力！

生成海報

免責聲明：本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網站出現的信息，均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后，將會依法盡快聯系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。