近日，騰訊多媒體實驗室設計的基于深度學習的全參考視頻質量評估算法DVQA在Github上正式開源，該算法模型的性能目前在公開測試數據集上取得業(yè)界領先成績。
開源地址：https://github.com/Tencent/DVQA
國內鏡像地址：
https://git.code.tencent.com/Tencent_Open_Source/DVQA
(登錄后才能訪問公開項目)
騰訊工蜂源碼系統(tǒng)為開源開發(fā)者提供完整、最新的騰訊開源項目國內鏡像
視聽時代，音視頻應用越來越廣泛：直播、短視頻、視頻節(jié)目、音視頻通話……近期由于新冠疫情帶來的在線協(xié)同辦公、在線教育類產品的崛起，更帶來了線上音視頻需求的爆發(fā)，用戶對音視頻質量訴求也愈加強烈。
在整個視頻鏈路中，大部分模塊都可以精確度量，如采集、上傳、預處理、轉碼、分發(fā)等。然而未知的部分卻恰恰是最關鍵的部分，即用戶的視頻觀看體驗到底怎么樣。目前行業(yè)內的視頻質量評估方法分為兩大類：客觀質量評估與主觀質量評估。前者計算視頻的質量分數，又根據是否使用高清視頻做參考、源視頻是專業(yè)視頻還是用戶原創(chuàng)視頻等進一步細分;后者主要依賴人眼觀看并打分，能夠直觀反映觀眾對視頻質量的感受。然而，這些方法仍存在耗時費力、成本較高、主觀觀感存在偏差等難題。
多媒體實驗室提出的視頻質量評估解決方案，首先結合業(yè)務需求，使用“在線主觀質量評測平臺”，來構建大規(guī)模主觀質量數據庫，同時使用所收集的主觀數據來訓練基于深度學習的客觀質量評估算法，最后把訓練好的質量評估算法部署到業(yè)務線中，閉環(huán)監(jiān)控可能存在的質量問題。從以上三個角度出發(fā)，DVQA能夠在兼顧不同業(yè)務、場景的前提下，滿足效率與精度兩大需求。
DVQA包含多個質量評估算法模型，本次開源的是針對PGC視頻的算法C3DVQA。本項目使用Python開發(fā)，深度學習模塊使用PyTorch。代碼使用模塊化設計，方便集成較新的深度學習技術，靈活的自定義模型，訓練和測試新的數據集。
在算法設計上，C3DVQA所使用的網絡結構如下圖所示。其輸入為損傷視頻和殘差視頻。網絡包含兩層二維卷積來逐幀提取空域特征。級聯(lián)后使用四層三維卷積層來學習時空聯(lián)合特征。三維卷積輸出描述了視頻的時空掩蓋效應，再使用它來模擬人眼對視頻殘差的感知情況：掩蓋效應弱的地方，殘差更容易被感知;掩蓋效應強的地方，復雜的背景更能掩蓋畫面失真。
網絡最后是池化層和全連接層。池化層的輸入為殘差幀經掩蓋效應處理后的結果，它代表了人眼可感知殘差。全連接層學習整體感知質量和目標質量分數區(qū)間的非線性回歸關系。
在評測結果上，騰訊多媒體實驗室在LIVE和CSIQ兩個視頻質量數據集上對所提出算法的性能進行驗證。并使用標準的PLCC和SROCC作為質量準則來比較不同算法的性能。將所提出的C3DVQA與常用的全參考質量評估算法進行對比，包括PSNR，MOVIE，ST-MAD，VMAF和DeepVQA，結果如下表所示。
(LIVE和CSIQ兩個數據庫上不同全參考算法性能比較)
目前該評估算法已在騰訊內外部多款產品中進行使用驗證，如騰訊會議就借助實驗室上百個符合ITU/3GPP/AVS等國外內標準的指標進行評判，閉環(huán)監(jiān)控全網的用戶體驗質量，從用戶真實體驗出發(fā)，不斷優(yōu)化產品性能。
作為最早布局音視頻領域的公司之一，從最早的QQ平臺，騰訊就試圖解決在當年網絡條件下若干的音視頻通信問題。伴隨著5G、云計算、大數據、人工智能技術的發(fā)展，騰訊多媒體實驗室基于多年的技術沉淀和行業(yè)經驗，逐步打磨出一條完善且高質量的音視頻技術鏈條。
（免責聲明：本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網站出現(xiàn)的信息，均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。 ）
