AI推理時(shí)代，邊緣計(jì)算成新戰(zhàn)場(chǎng)

自去年來(lái)，從Open AI推出O1推理模型，到Anthropic跟進(jìn)推出非常依賴推理能力的“Computer Use”的Agent功能，再到DeepSeek R1推理模型在全球火爆，以及英偉達(dá)在GTC大會(huì)上亮相首款推理模型、首個(gè)推理軟件等，這些科技巨頭的動(dòng)作一再揭示一個(gè)趨勢(shì)——AI大模型的競(jìng)爭(zhēng)焦點(diǎn)已經(jīng)轉(zhuǎn)向AI推理，AI推理時(shí)代已經(jīng)到來(lái)。

面對(duì)新興的AI推理需求，推理性能、效率以及成本毫無(wú)疑問(wèn)是最核心的問(wèn)題，而邊緣計(jì)算在靠近數(shù)據(jù)生成源的地方進(jìn)行處理和推理，具有低延遲、數(shù)據(jù)隱私保護(hù)和高效能等優(yōu)勢(shì)，被視作AI推理的理想位置，由此將成為競(jìng)爭(zhēng)的新戰(zhàn)場(chǎng)。

在DeepSeek出現(xiàn)之前，AI大模型的部署與訓(xùn)練需要大量的資金投入和大規(guī)模算力的部署、維護(hù)，中小企業(yè)很難自建生態(tài)以進(jìn)行大模型的開(kāi)發(fā)，同時(shí)也受制于AI大模型閉源帶來(lái)的部署與使用門(mén)檻。

而DeepSeek采用大規(guī)?？绻?jié)點(diǎn)專家并行的模式，利用強(qiáng)化學(xué)習(xí)來(lái)減少人工依賴和數(shù)據(jù)缺失的問(wèn)題，通過(guò)全面開(kāi)源的方式，將AI推理資源池成本降到百卡/千卡范圍，真正降低AI大模型在行業(yè)用戶環(huán)境中的部署與使用成本，同時(shí)，部署方式更加輕量、靈活，為行業(yè)提供了全新的解決方案。短短兩個(gè)月的時(shí)間，國(guó)內(nèi)外的科技、金融、政務(wù)、能源、通信、汽車(chē)、高校等各行各業(yè)均已紛紛接入DeepSeek，用于業(yè)務(wù)提效和AI應(yīng)用創(chuàng)新。

這讓更多人以更低成本享受到了AI的高性能，加速了端側(cè)AI的爆發(fā)與普及，同時(shí)也推動(dòng)了AI格局向大規(guī)模推理轉(zhuǎn)變。

由于AI推理會(huì)為終端用戶運(yùn)行工作負(fù)載，響應(yīng)速度和位置尤為關(guān)鍵，這意味著在邊緣或邊緣云環(huán)境中進(jìn)行推理更有優(yōu)勢(shì)。對(duì)于企業(yè)而言，靠近節(jié)點(diǎn)的邊緣云可以有效提高數(shù)據(jù)交互和AI推理的即時(shí)性與效率，并保障信息安全。

具體來(lái)看，邊緣計(jì)算地理分布廣泛，更靠近用戶，是低延遲體驗(yàn)的必要條件。同時(shí)邊緣計(jì)算通過(guò)縮短交互鏈路，能夠大幅降低數(shù)據(jù)傳輸開(kāi)銷和成本。以語(yǔ)音數(shù)字人場(chǎng)景為例，相較中心云，在靠近用戶的邊緣側(cè)接入，使得語(yǔ)音數(shù)據(jù)傳輸鏈路短，用戶體驗(yàn)明顯優(yōu)于中心推理，而相較設(shè)備端，又可以降低對(duì)終端設(shè)備的依賴，模型能力的優(yōu)化升級(jí)更加簡(jiǎn)便。

其次，邊緣節(jié)點(diǎn)容量大、健壯性強(qiáng)、可用性高，疊加邊緣推理后，更具智能、更加高效，能夠更好支撐企業(yè)數(shù)字化、智能化;并且邊緣計(jì)算還能保障業(yè)務(wù)連續(xù)性，通過(guò)業(yè)務(wù)調(diào)度能力實(shí)現(xiàn)節(jié)點(diǎn)故障時(shí)的快速切換。

再者，在邊緣側(cè)可以提供更多能力，比如邊緣緩存，實(shí)現(xiàn)交互內(nèi)容的就近存儲(chǔ)，減少網(wǎng)絡(luò)流量、提升模型的實(shí)時(shí)性，比如集成安全的邊緣防護(hù)，增強(qiáng)大模型部署和應(yīng)用的安全性。

AI推理市場(chǎng)的主要競(jìng)爭(zhēng)者包括AI硬件廠商、模型廠商以及AI服務(wù)提供商，可以看到，參與者們已經(jīng)在瞄準(zhǔn)邊緣計(jì)算進(jìn)行布局。

比如硬件層面，蘋(píng)果、高通等廠商積極研發(fā)邊緣AI芯片，應(yīng)用在AI手機(jī)和機(jī)器人上，支撐邊緣端的大模型運(yùn)行；Arm發(fā)布了邊緣AI計(jì)算平臺(tái)，可運(yùn)行超10億參數(shù)的端側(cè)AI模型；國(guó)科微推出了AI邊緣計(jì)算芯片，可適配包括輕量級(jí)LLM語(yǔ)言大模型、AIGC生成式模型、CV大模型以及多模態(tài)大模型等。

平臺(tái)服務(wù)層面，英特爾推出了基于英特爾銳炫TM顯卡的邊緣端AI推理解決方案，提升AI推理速度；阿里云推出了邊緣容器云，助力開(kāi)發(fā)者實(shí)現(xiàn)更快速的AI推理應(yīng)用的迭代和部署；網(wǎng)宿科技打造了邊緣AI平臺(tái)，提供ServerlessGPU、邊緣AI網(wǎng)關(guān)、邊緣模型微調(diào)與推理服務(wù)等，幫助企業(yè)低成本、高效率地實(shí)現(xiàn)AIGC創(chuàng)新。

目前AI推理市場(chǎng)正處于快速發(fā)展期，競(jìng)爭(zhēng)格局尚未完全固化。專家認(rèn)為，未來(lái)市場(chǎng)競(jìng)爭(zhēng)的核心要素在于成本/性能的計(jì)算，即包括推理成本、延遲和吞吐量。

聚焦到邊緣計(jì)算這一切入點(diǎn)，資源與技術(shù)能力將是參與者競(jìng)爭(zhēng)取勝的關(guān)鍵。

以網(wǎng)宿科技為例，作為邊緣計(jì)算領(lǐng)域的頭部玩家，于2011年就已探索邊緣計(jì)算，早已形成從資源、產(chǎn)品、能力、安全到應(yīng)用的一體化布局。資源方面，網(wǎng)宿在全球擁有近3000個(gè)節(jié)點(diǎn)資源和豐富的GPU算力資源，更貼近業(yè)務(wù)邊緣，具有低時(shí)延優(yōu)勢(shì)，例如在與大模型交互的鏈路中，能夠?qū)⒛Ｐ徒换バ侍嵘?-3倍。

而在技術(shù)能力上，網(wǎng)宿沉淀了完備的技術(shù)棧，依托異構(gòu)計(jì)算資源的虛擬化和容器化、全球海量節(jié)點(diǎn)的編排管理等關(guān)鍵技術(shù)，能夠支撐大規(guī)模模型能力的調(diào)度和運(yùn)營(yíng)，為企業(yè)提供高可用服務(wù)；此外，還通過(guò)邊緣函數(shù)自定義更多個(gè)性化的功能，結(jié)合企業(yè)業(yè)務(wù)場(chǎng)景提供個(gè)性化的智能解決方案。

據(jù)悉，網(wǎng)宿邊緣AI平臺(tái)已經(jīng)深入醫(yī)療、家居、媒體、互聯(lián)網(wǎng)等行業(yè)，應(yīng)用于AI輔助開(kāi)發(fā)、AI問(wèn)答、AIOT、AI評(píng)論等場(chǎng)景，比如網(wǎng)宿利用RAG技術(shù)構(gòu)建知識(shí)庫(kù)，并結(jié)合邊緣AI推理模型，為某醫(yī)療企業(yè)構(gòu)建了智能AI問(wèn)答系統(tǒng)，明顯提升了醫(yī)療咨詢的效率。

可以預(yù)見(jiàn)，隨著模型技術(shù)的不斷演進(jìn)和邊緣計(jì)算能力的持續(xù)提升，AI推理將迎來(lái)一場(chǎng)革新，為產(chǎn)業(yè)帶來(lái)更多創(chuàng)新機(jī)遇。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。