國際研究團隊推出用于邊緣AI的高效新型神經(jīng)形態(tài)芯片

一組國際研究人員設計、制造和測試了 NeuRRAM 芯片。圖片來源：David Baillot/加州大學圣地亞哥分校

NeuRRAM 是一種直接在內(nèi)存中運行計算并可以運行各種人工智能應用程序的新芯片，由一個國際研究團隊設計和制造。它的與眾不同之處在于，它所消耗的能源只是通用 AI 計算計算平臺所消耗的能源的一小部分。

NeuRRAM 神經(jīng)形態(tài)芯片使人工智能更接近于在廣泛的邊緣設備上運行，與云斷開連接。這意味著他們可以隨時隨地執(zhí)行復雜的認知任務，而無需依賴與中央服務器的網(wǎng)絡連接。該設備的應用遍布全球的每一個角落和我們生活的方方面面。它們的范圍從智能手表到 VR 耳機、智能耳機、工廠中的智能傳感器以及用于太空探索的漫游車。

NeuRRAM 芯片的能效不僅是最先進的“內(nèi)存計算”芯片（一種在內(nèi)存中運行計算的創(chuàng)新混合芯片）的兩倍，它還提供與最先進的“內(nèi)存計算”芯片一樣準確的結(jié)果傳統(tǒng)的數(shù)字芯片。傳統(tǒng)的人工智能平臺體積更大，通常受限于使用在云中運行的大型數(shù)據(jù)服務器。

NeuRRAM 芯片的特寫。圖片來源：David Baillot/加州大學圣地亞哥分校

此外，NeuRRAM 芯片用途廣泛，支持多種不同的神經(jīng)網(wǎng)絡模型和架構。因此，該芯片可用于許多不同的應用，包括圖像識別和重建以及語音識別。

“傳統(tǒng)觀點認為，內(nèi)存計算的更高效率是以多功能性為代價的，但我們的 NeuRRAM 芯片在不犧牲多功能性的同時獲得了效率，”該論文的第一通訊作者、最近獲得博士學位的萬維爾說。他畢業(yè)于斯坦福大學，曾在加州大學圣地亞哥分校從事芯片研究，在那里他與生物工程系的 Gert Cauwenberghs 共同擔任顧問。

由加州大學圣地亞哥分校 (UCSD) 的生物工程師共同領導的研究小組在 8 月 17 日的Nature 雜志上展示了他們的研究結(jié)果。

NeuRRAM 芯片采用了一種創(chuàng)新的架構，該架構已在整個堆棧中進行了協(xié)同優(yōu)化。圖片來源：David Baillot/加州大學圣地亞哥分校

目前，人工智能計算既耗電又昂貴。邊緣設備上的大多數(shù)人工智能應用都涉及將數(shù)據(jù)從設備移動到云端，人工智能在云端對其進行處理和分析。然后將結(jié)果傳輸回設備。這是必要的，因為大多數(shù)邊緣設備都是電池供電的，因此只能用于計算的電量有限。

通過降低邊緣 AI 推理所需的功耗，這款 NeuRRAM 芯片可以帶來更強大、更智能、更易于訪問的邊緣設備和更智能的制造。它還可以帶來更好的數(shù)據(jù)隱私，因為將數(shù)據(jù)從設備傳輸?shù)皆茣黾影踩L險。

在 AI 芯片上，將數(shù)據(jù)從內(nèi)存轉(zhuǎn)移到計算單元是一大瓶頸。“這相當于每天花8小時上下班，卻只有2小時用來工作。”

為了解決這個數(shù)據(jù)傳輸問題，研究人員使用了所謂的電阻式隨機存取存儲器。這種類型的非易失性存儲器允許直接在存儲器內(nèi)而不是在單獨的計算單元中進行計算。RRAM 和其他用作神經(jīng)形態(tài)計算的突觸陣列的新興內(nèi)存技術是在斯坦福大學 Wan 的顧問、這項工作的主要貢獻者之一 Philip Wong 的實驗室中開創(chuàng)的。盡管使用 RRAM 芯片進行計算不一定是新事物，但通常會導致在芯片上執(zhí)行的計算的準確性降低，并且芯片架構缺乏靈活性。

“自 30 多年前引入內(nèi)存計算以來，它一直是神經(jīng)形態(tài)工程中的常見做法，”Cauwenberghs 說?！癗euRRAM 的全新之處在于，極高的效率現(xiàn)在與各種 AI 應用程序的極大靈活性相結(jié)合，與標準數(shù)字通用計算平臺相比，準確性幾乎沒有損失。”

精心設計的方法是跨硬件和軟件抽象層進行多層次“協(xié)同優(yōu)化”的關鍵，從芯片的設計到運行各種 AI 任務的配置。此外，該團隊確?？紤]到從存儲設備物理到電路和網(wǎng)絡架構的各種限制。

“這款芯片現(xiàn)在為我們提供了一個平臺，可以解決從設備和電路到算法的整個堆棧問題，”圣母大學計算機科學與工程助理教授 Siddharth Joshi 說。

研究人員通過一種稱為能量延遲積或 EDP 的方法來測量芯片的能量效率。EDP 結(jié)合了每次操作消耗的能量和完成操作所需的時間。通過這一措施，與最先進的芯片相比，NeuRRAM 芯片的 EDP 低 1.6 到 2.3 倍（越低越好），計算密度高 7 到 13 倍。

工程師在芯片上運行各種 AI 任務。它在手寫數(shù)字識別任務上達到了 99% 的準確率；85.7% 的圖像分類任務；84.7% 的谷歌語音命令識別任務。此外，該芯片還在圖像恢復任務中實現(xiàn)了 70% 的圖像重建誤差降低。這些結(jié)果可與現(xiàn)有的數(shù)字芯片相媲美，這些芯片在相同的位精度下執(zhí)行計算，但大大節(jié)省了能源。

研究人員指出，該論文的一個關鍵貢獻是，所有特色結(jié)果都是直接在硬件上獲得的。在之前的許多內(nèi)存計算芯片工作中，AI 基準測試結(jié)果通常部分通過軟件模擬獲得。

下一步包括改進架構和電路，并將設計擴展到更先進的技術節(jié)點。工程師還計劃解決其他應用，例如脈沖神經(jīng)網(wǎng)絡。

匹茲堡大學助理教授 Rajkumar Kubendran博士說：“我們可以在設備層面做得更好，改進電路設計以實現(xiàn)更多功能，并通過我們的動態(tài) NeuRRAM 平臺解決各種應用問題?！?/p>

此外，Wan 是一家致力于生產(chǎn)內(nèi)存計算技術的初創(chuàng)公司的創(chuàng)始成員。“作為一名研究人員和工程師，我的抱負是將實驗室的研究創(chuàng)新成果付諸實踐，”Wan說。

NeuRRAM 能源效率的關鍵是一種創(chuàng)新的方法來檢測內(nèi)存中的輸出。傳統(tǒng)方法使用電壓作為輸入并測量電流作為結(jié)果。但這導致需要更復雜、更耗電的電路。在 NeuRRAM 中，該團隊設計了一種神經(jīng)元電路，可以感應電壓并以節(jié)能的方式執(zhí)行模數(shù)轉(zhuǎn)換。這種電壓模式感測可以在單個計算周期內(nèi)激活 RRAM 陣列的所有行和所有列，從而實現(xiàn)更高的并行度。

在 NeuRRAM 架構中，CMOS 神經(jīng)元電路與 RRAM 權重物理交錯。它不同于傳統(tǒng)設計，其中 CMOS 電路通常位于 RRAM 重量的外圍。神經(jīng)元與 RRAM 陣列的連接可以配置為作為神經(jīng)元的輸入或輸出。這允許在各種數(shù)據(jù)流方向上進行神經(jīng)網(wǎng)絡推理，而不會產(chǎn)生面積或功耗方面的開銷。這反過來又使架構更易于重新配置。

為了確保人工智能計算的準確性可以在各種神經(jīng)網(wǎng)絡架構中保持不變，工程師們開發(fā)了一套硬件算法協(xié)同優(yōu)化技術。這些技術在各種神經(jīng)網(wǎng)絡上得到了驗證，包括卷積神經(jīng)網(wǎng)絡、長短期記憶和受限玻爾茲曼機。

作為神經(jīng)形態(tài) AI 芯片，NeuroRRAM 跨 48 個神經(jīng)突觸核心執(zhí)行并行分布式處理。為了同時實現(xiàn)高通用性和高效率，NeuRRAM 通過將神經(jīng)網(wǎng)絡模型中的一層映射到多個核上以對多個數(shù)據(jù)進行并行推理，從而支持數(shù)據(jù)并行。此外，NeuRRAM 通過將模型的不同層映射到不同的內(nèi)核并以流水線方式執(zhí)行推理來提供模型并行性。

這項工作是一個國際研究團隊的成果。

UCSD 團隊設計了實現(xiàn)與 RRAM 陣列接口的神經(jīng)功能的 CMOS 電路，以支持芯片架構中的突觸功能，以實現(xiàn)高效率和多功能性。Wan與整個團隊密切合作，實施了設計；表征芯片；訓練人工智能模型；并進行了實驗。Wan 還開發(fā)了一個軟件工具鏈，將 AI 應用程序映射到芯片上。

RRAM 突觸陣列及其操作條件在斯坦福大學進行了廣泛的表征和優(yōu)化。

RRAM 陣列在清華大學制造并集成到 CMOS 上。

Notre Dame 的團隊為芯片的設計和架構以及隨后的機器學習模型設計和培訓做出了貢獻。

這項研究開始于美國國家科學基金會資助的賓夕法尼亞州立大學“硅上視覺皮層計算探險”項目的一部分，該項目繼續(xù)得到海軍AI研究科學辦公室、半導體研究公司和DARPA JUMP項目以及西部數(shù)字公司的資金支持。

生成海報

免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權或存在不實內(nèi)容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內(nèi)容或斷開相關鏈接。