生成式人工智能不僅改變了組織開展業(yè)務(wù)的方式,還改變了它們消耗計算資源的方式。這些大型語言模型(LLM)以及數(shù)字孿生、擴展現(xiàn)實和元宇宙等其他人工智能工具,需要大量圖形處理單元(GPU)來訓(xùn)練數(shù)據(jù)集或處理圖形密集型任務(wù)。
然而,這其中也有一個問題。GPU價格昂貴、供應(yīng)不足,而且消耗大量能源。因此,首席信息官(CIO)和其他業(yè)務(wù)和IT領(lǐng)導(dǎo)者,越來越面臨著如何使用它們以及在何處使用它們的問題。了解所需任務(wù)并平衡處理能力需求和成本至關(guān)重要。
所有這些都直接與數(shù)據(jù)中心相關(guān)。隨著人工智能成為主流,組織必須適應(yīng),僅僅了解GPU在哪里帶來戰(zhàn)略收益是不夠的,CIO必須做出關(guān)鍵決策,決定何時使用GPU或CPU,以及是否在本地或云端處理訓(xùn)練、推理和其他任務(wù)。
峰值性能
盡管最近GenAI備受關(guān)注,但GPU進入數(shù)據(jù)中心已有十多年了。圖形處理器在科學(xué)研究、深度學(xué)習(xí)、機器學(xué)習(xí)以及機器視覺、機器人技術(shù)和自動化等眾多其他任務(wù)中發(fā)揮著關(guān)鍵作用。它們已成為處理復(fù)雜模擬和海量數(shù)據(jù)挑戰(zhàn)的寶貴工具。
然而,2022年11月,情況發(fā)生了巨大變化。在ChatGPT公開發(fā)布以及隨后出現(xiàn)的MicrosoftCopilot和GoogleGemini等GenAI框架之后,組織開始積極探索將LLM投入使用的方法。很快人們就發(fā)現(xiàn),AI定制對于實現(xiàn)特定任務(wù)至關(guān)重要,包括聊天機器人、內(nèi)容創(chuàng)建、設(shè)計迭代、市場研究、網(wǎng)絡(luò)安全、欺詐檢測、產(chǎn)品原型設(shè)計以及各種其他用例。
如今,數(shù)據(jù)中心對GPU的需求正在飆升。預(yù)計到2027年,數(shù)據(jù)中心的平均機架密度將達(dá)到每機架50kW,超過目前的平均36kW。人工智能和機器學(xué)習(xí)的迅猛發(fā)展正在推動數(shù)據(jù)中心設(shè)計、選址和投資策略的變革浪潮。
與此同時,GPU的價格越來越高。例如,NVIDIAGeForceRTX4090是一款廣泛部署的頂級型號,于2022年推出,起價約為每臺1,600美元。價格較低、顯存較少的GPU仍需數(shù)百美元。但硬件的前期投資只是一個起點。GPU的耗電量通常是CPU的兩倍或三倍,同時需要強大的冷卻和更復(fù)雜的布線。
許多數(shù)據(jù)中心都沒有足夠的空間和電力來運行GPU。因此,首席信息官必須就如何處理人工智能做出一些艱難的決定以及GPU何時能帶來明顯的優(yōu)勢。對于一些大規(guī)模并行任務(wù)(如人工智能訓(xùn)練工作負(fù)載),GPU實際上可以通過更快地執(zhí)行計算來降低總體TCO。然而,對于其他工作負(fù)載(如人工智能推理),CPU通??梢蕴峁┳銐虻男阅埽瑫r降低每瓦運營成本。
首先要確定具體用例以及所需的性能和準(zhǔn)確度水平。此時,可以考慮成本和碳排放等因素,并確定使用哪種硬件以及處理應(yīng)在云端還是在本地進行?;A(chǔ)模型訓(xùn)練需要GPU,但推理則不同。在某些情況下,甚至可以在筆記本電腦或手持設(shè)備上進行推理。
數(shù)據(jù)中心的發(fā)展
所有主要的云提供商如今都提供預(yù)裝GPU的虛擬機,或租用支持GPU的服務(wù)器的選項。因此,無需投資物理硬件。這些云也不會忽視可管理性。它們提供GPU直通工具,可直接管理GPU硬件上的性能因素。
這使得CIO能夠配置和管理復(fù)雜的環(huán)境,包括涉及GPU和CPU的混合情況。它包括用于擴展和利用資源、配置GPU內(nèi)存以及為機器學(xué)習(xí)或視頻編輯等特定任務(wù)建立實例類型的工具。
通過清晰地了解關(guān)鍵因素(包括訓(xùn)練數(shù)據(jù)集的大小和廣度、誰將使用它、系統(tǒng)上的查詢或點擊量預(yù)計是多少、以及GPU和CPU的堆疊方式),可以做出明智的決策。例如,在某些情況下,可能需要不同類型的GPU來推理和運行系統(tǒng),或者帶有加速器的CPU可能更適合處理較小的模型。
還可以從可持續(xù)性和碳性能權(quán)衡的角度來看待GPU和CPU。我們將看到對AI的需求不斷增長,企業(yè)對GPU的需求也不斷增長。但我們也可能看到GPU和CPU的更多混合,因為許多任務(wù)在成本和碳排放方面仍然更高效。
- 蘋果擬允許歐盟用戶更改默認(rèn)語音助手;美國與阿聯(lián)酋合作打造海外最大AI數(shù)據(jù)中心——2025年05月19日
- 【上周小結(jié)】中國電信聘任劉桂清為總裁兼首席運營官;美國撤銷拜登時期AI芯片出口限制 新規(guī)明確針對華為;趙偉國一審被判死緩;
- 華為曹明:全場景5G-A創(chuàng)新,讓“1+5+X”萬智互聯(lián)圖景照進現(xiàn)實
- 華為:5G-A+AI撬動新一輪價值轉(zhuǎn)移 AI-Centric網(wǎng)絡(luò)構(gòu)筑數(shù)智時代底座
- 工信部:我國信息通信業(yè)站上新起點、邁入新階段、取得新成效
- 趙厚麟:我國通信事業(yè)變化驚人 為全球貢獻“中國智慧、中國力量”
- 標(biāo)準(zhǔn)基本完成,技術(shù)突破不斷:50G PON開啟萬兆光網(wǎng)商用浪潮
- 中國電信張德智:50G-PON產(chǎn)業(yè)加速成熟,支撐萬兆應(yīng)用創(chuàng)新
- 中國工程院院士張平:通信網(wǎng)將向智能體通信網(wǎng)演進 帶來三大方式轉(zhuǎn)變
- 江西2024年數(shù)字經(jīng)濟規(guī)模1.42萬億元 計劃到2027年累計建成20萬5G基站
免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時,應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實,溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。