小米大模型團隊破紀(jì)錄!DeepSeek-R1引領(lǐng)音頻推理風(fēng)潮,顛覆MMAU榜

標(biāo)題:小米大模型團隊破紀(jì)錄!DeepSeek-R1引領(lǐng)音頻推理風(fēng)潮,顛覆MMAU榜

隨著人工智能技術(shù)的飛速發(fā)展,我們正逐步邁向一個全新的智能時代。在這個時代中,小米大模型團隊在音頻推理領(lǐng)域取得了突破性進展,他們的研究成果引起了廣泛關(guān)注。近日,團隊率先將強化學(xué)習(xí)算法應(yīng)用于多模態(tài)音頻理解任務(wù),僅用一周時間便以64.5%的SOTA準(zhǔn)確率登頂國際權(quán)威的MMAU音頻理解評測榜首,這一成果現(xiàn)已開源。這一突破性的進展不僅彰顯了小米大模型團隊的技術(shù)實力,也為我們揭示了強化學(xué)習(xí)在音頻推理領(lǐng)域的獨特價值。

音頻推理作為人工智能領(lǐng)域的一個重要分支,一直以來都是研究的熱點。MMAU作為音頻推理能力的量化標(biāo)尺,通過一萬條涵蓋語音、環(huán)境聲和音樂的音頻樣本,結(jié)合人類專家標(biāo)注的問答對,測試模型在27種技能上的表現(xiàn),期望模型達到接近人類專家的邏輯分析水平。在此背景下,小米大模型團隊的研究成果可謂意義重大。

DeepSeek-R1的發(fā)布為我們在該項任務(wù)上的研究帶來了啟發(fā)。DeepSeek-R1的Group Relative Policy Optimization(GRPO)方法,讓模型僅通過“試錯-獎勵”機制就能使自主進化,涌現(xiàn)出類似人類的反思、多步驗證等推理能力。這一方法為音頻推理領(lǐng)域提供了新的思路和方法。

小米大模型團隊將這一啟發(fā)應(yīng)用于音頻推理任務(wù)中,取得了令人矚目的成果。他們使用了一個較小的數(shù)據(jù)集,清華大學(xué)發(fā)布的AVQA數(shù)據(jù)集,對此模型做微調(diào)。通過全量有監(jiān)督微調(diào)(SFT),模型在MMAU上的準(zhǔn)確率提升到了64.5%,這一數(shù)據(jù)比目前榜單上第一名的商業(yè)閉源模型GPT-4o有近10個百分點的優(yōu)勢。這一突破性進展無疑顛覆了MMAU榜單。

值得注意的是,在訓(xùn)練中強制要求模型輸出推理過程時,準(zhǔn)確率反而下降至61.1%。這說明顯式的思維鏈結(jié)果輸出可能并不利于模型的訓(xùn)練。這為我們提供了一個新的視角,讓我們重新審視思維鏈在人工智能領(lǐng)域的應(yīng)用。

盡管當(dāng)前準(zhǔn)確率已突破64%,但距離人類專家的水平仍有差距。強化學(xué)習(xí)策略在訓(xùn)練過程中對思維鏈的引導(dǎo)并不充分,這是他們后續(xù)需要進一步探索的問題。然而,這并不能否定強化學(xué)習(xí)在音頻推理領(lǐng)域的巨大潛力。相反,這更加強調(diào)了強化學(xué)習(xí)在人工智能領(lǐng)域的重要性和價值。

總的來說,小米大模型團隊在音頻推理領(lǐng)域的突破性進展為我們揭示了強化學(xué)習(xí)在人工智能領(lǐng)域的獨特價值。他們的研究成果不僅彰顯了團隊的技術(shù)實力,也為我們提供了新的思路和方法,讓我們看到了未來人工智能發(fā)展的無限可能。DeepSeek-R1引領(lǐng)音頻推理風(fēng)潮,這一成果無疑將推動音頻推理領(lǐng)域的發(fā)展,讓我們期待更多的突破性進展出現(xiàn)。

(免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負(fù)任何法律責(zé)任。
任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時,應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實,溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 )

贊助商
1970-01-01
小米大模型團隊破紀(jì)錄!DeepSeek-R1引領(lǐng)音頻推理風(fēng)潮,顛覆MMAU榜
小米大模型團隊在音頻推理領(lǐng)域取得突破性進展,DeepSeek-R1引領(lǐng)音頻推理風(fēng)潮,登頂MMAU榜首。這一成果開源,為強化學(xué)習(xí)在音頻推理領(lǐng)域的應(yīng)用提供了新思路和方法。

長按掃碼 閱讀全文