愛奇藝“多模態(tài)人物識別競賽”結(jié)果揭曉 冠軍團隊實現(xiàn)多模態(tài)視頻人物識別全球最佳算法

經(jīng)過3個月的角逐，愛奇藝聯(lián)合全球多媒體領(lǐng)域頂尖會議ACM International Conference on Multimedia(以下簡稱ACM MM)共同舉辦的多模態(tài)人物識別競賽于近日正式落下帷幕。本次大賽，吸引了包括卡內(nèi)基梅隆大學(xué)、倫敦大學(xué)學(xué)院、?？巳卮髮W(xué)、清華大學(xué)、北京大學(xué)等國內(nèi)外頂尖高校，以及百度、中興、京東、美圖、英偉達等知名企業(yè)在內(nèi)的共255支團隊同場競技。其中，來自于北京郵電大學(xué)自動化學(xué)院、北京郵電大學(xué)網(wǎng)研院網(wǎng)絡(luò)智能中心以及南京大學(xué)計算機科學(xué)與技術(shù)系的團隊分別獲得前三名。 獲得第一名的北京郵電大學(xué)自動化學(xué)院團隊將多模態(tài)視頻人物識別精準(zhǔn)度提升到了91.14%，愛奇藝攜手頂尖參賽團隊在多模態(tài)人物識別領(lǐng)域再次取得突破。此次競賽的頒獎儀式將在10月21日至25日在法國尼斯舉辦的第27屆ACM MM 大會上進行。

目前，全世界眾多科技公司以及學(xué)術(shù)機構(gòu)發(fā)布視頻數(shù)據(jù)集，側(cè)重解決視頻識別各種難題。其中，牛津大學(xué)發(fā)布過VoxCeleb2數(shù)據(jù)集，包含6千多人，15萬視頻，側(cè)重于解決說話人識別的問題;香港中文大學(xué)和商湯科技合作發(fā)布的包括1218人，12.7萬視頻CSM數(shù)據(jù)集，為了更好地檢索識別視頻中的說話的人物。以色列特拉維夫大學(xué)的Youtube Faces DB，擁有3425個視頻片段與1595個人物，用以解決非約束環(huán)境下的人臉識別問題。此次，愛奇藝發(fā)起的多模態(tài)人物識別挑戰(zhàn)賽中，對參賽者公布了通過嚴(yán)格人工標(biāo)注、更具有挑戰(zhàn)性的多模態(tài)人物數(shù)據(jù)集(iQIYI-VID-2019)，包含10000名明星人物、200小時、20萬條影視劇與短視頻數(shù)據(jù)集，更接近實際應(yīng)用場景，其中包括臉部，頭部，身體及聲紋4個模態(tài)的特征，為學(xué)術(shù)界及工業(yè)界利用多模態(tài)特征去更全面解決場景復(fù)雜、人體動作多變、化妝等人物識別難題提供了便利條件。參賽團隊無需使用自己的計算資源去提取特征，這樣大大降低該競賽對硬件資源的門檻，吸引了更多全球頂尖優(yōu)秀的學(xué)術(shù)機構(gòu)團隊參與，加快提升人物識別技術(shù)不斷向前演進。此次拔得頭籌的北京郵電大學(xué)自動化學(xué)院團隊，在愛奇藝公布的4個模態(tài)特征的基礎(chǔ)上，重新訓(xùn)練了對齊的人臉識別模型，利用數(shù)據(jù)增強和這5種模態(tài)信息訓(xùn)練完成多模態(tài)分類模型，在數(shù)據(jù)集難度提升的情況下，將多模態(tài)視頻人物識別精準(zhǔn)度由去年的88.65%提升到了91.14%，提升幅度達2.5pp，成為多模態(tài)視頻人物識別競賽中的全球最佳算法。

多模態(tài)人物識別技術(shù)精準(zhǔn)度進一步提升意味著，愛奇藝可以通過對復(fù)雜場景下精準(zhǔn)識別為用戶帶來更優(yōu)的視頻消費體驗，進一步提升娛樂系統(tǒng)的效率，例如，通過識別短視頻、UGC內(nèi)容中模糊、側(cè)面、距離遠等復(fù)雜場景中的人物，更好地為用戶精準(zhǔn)推薦內(nèi)容，加強愛奇藝個性化內(nèi)容分發(fā)能力;在AI雷達中，通過對視頻人物的精準(zhǔn)識別，通過只看TA的功能讓用戶享受到更為個性化的互動體驗;可以使HomeAI智能語音交互平臺提升用戶的交互體驗;以及讓AIWorks視頻智能創(chuàng)作對長視頻進行更精準(zhǔn)的拆條，進一步提升愛奇藝愛創(chuàng)媒資系統(tǒng)制作爆款劇的效率等。

愛奇藝首席技術(shù)官兼基礎(chǔ)架構(gòu)和智能內(nèi)容分發(fā)事業(yè)群總裁劉文峰表示，多模態(tài)人物識別競賽不斷取得突破，除了對愛奇藝娛樂生態(tài)產(chǎn)生重要價值之外，對人物識別技術(shù)的研發(fā)，技術(shù)成果轉(zhuǎn)化效率，相關(guān)人才培養(yǎng)都會產(chǎn)生深遠的影響。未來，愛奇藝將不斷與國內(nèi)外學(xué)術(shù)機構(gòu)、行業(yè)領(lǐng)先者合作，不斷提升前沿技術(shù)的探索與實踐。

生成海報

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。