IBM揭秘：Granite 4.0 Tiny模型，12GB顯存實現(xiàn)128K上下文，引領(lǐng)AI新潮流
隨著科技的飛速發(fā)展，人工智能（AI）已成為當(dāng)今世界最具挑戰(zhàn)性和最具潛力的領(lǐng)域之一。作為全球領(lǐng)先的科技公司，IBM在AI領(lǐng)域的研究與創(chuàng)新一直備受矚目。最近，IBM發(fā)布了Granite 4.0系列模型中的最小版本之一：Granite 4.0 Tiny的預(yù)覽版本，憑借其高計算效率和低內(nèi)存需求，引發(fā)了業(yè)內(nèi)的廣泛關(guān)注。本文將圍繞Granite 4.0 Tiny模型展開，探討其顯存需求、性能表現(xiàn)、架構(gòu)特點以及未來計劃，以期揭示IBM在AI領(lǐng)域的又一創(chuàng)新力作。
首先，讓我們關(guān)注Granite 4.0 Tiny預(yù)覽版本所采用的顯存需求。據(jù)介紹，在FP8精度下，運行5個128KB上下文窗口的并發(fā)對話僅需12GB顯存。這一需求在目前的市場上，一張建議零售價為329美元的英偉達GeForce RTX 3060 12GB消費級顯卡即可滿足。這一顯存需求降低了AI模型的運行成本，使得更多企業(yè)和機構(gòu)能夠享受到AI帶來的便利。
接下來，讓我們深入了解Granite 4.0 Tiny預(yù)覽版本的性能表現(xiàn)。據(jù)報道，Granite 4.0 Tiny預(yù)覽版本的訓(xùn)練Token數(shù)至少為15T，目前僅訓(xùn)練了2.5T，但已能提供與12T訓(xùn)練Token的Granite 3.3 2B Instruct相當(dāng)?shù)男阅?。這表明，Granite 4.0 Tiny在128KB上下文窗口16并發(fā)會話下內(nèi)存需求降低了約72%，預(yù)計最終性能可與Granite 3.3 8B Instruct相媲美。這一性能的提升對于企業(yè)而言，意味著更高效的對話系統(tǒng)、更準確的預(yù)測模型以及更強大的決策支持。
在探討完Granite 4.0 Tiny預(yù)覽版本的技術(shù)特點后，我們再來關(guān)注其架構(gòu)。Granite 4.0 Tiny基于被Granite 4.0系列全線采用的混合Mamba-2/Transformer架構(gòu)，結(jié)合了兩者的速度與精度，降低了內(nèi)存消耗而不明顯損失性能。這種架構(gòu)的選擇充分體現(xiàn)了IBM在AI模型架構(gòu)上的專業(yè)素養(yǎng)，為AI模型的訓(xùn)練和部署提供了強有力的支持。
最后，讓我們關(guān)注一下Granite 4.0 Tiny預(yù)覽版本的發(fā)布計劃。根據(jù)IBM的公告，Granite 4.0 Tiny預(yù)覽版本現(xiàn)已在Hugging Face上以標準Apache 2.0許可證提供，并將在今年夏天正式推出Granite 4.0系列模型的Tiny、Small、Medium版本。這意味著廣大科研人員和企業(yè)將有機會進一步探索和驗證Granite 4.0 Tiny的潛力，推動AI領(lǐng)域的創(chuàng)新發(fā)展。
綜上所述，IBM發(fā)布的Granite 4.0 Tiny預(yù)覽版本憑借其高計算效率和低內(nèi)存需求，以及出色的性能表現(xiàn)和架構(gòu)特點，無疑在AI領(lǐng)域掀起了一股新潮流。隨著IBM不斷推進AI技術(shù)的發(fā)展和創(chuàng)新，我們有理由相信，未來AI將在更多領(lǐng)域發(fā)揮出更大的潛力，為人類帶來更多的便利和價值。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關(guān)資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責(zé)任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
