網(wǎng)易視頻云Qcon會(huì)議獨(dú)家分享：如何優(yōu)化移動(dòng)音視頻技術(shù)

4月21至23日，由InfoQ主辦的全球頂級(jí)技術(shù)盛會(huì)QCon全球軟件開發(fā)大會(huì)在北京開幕，本屆大會(huì)吸引了100余位國(guó)內(nèi)外技術(shù)專家參加分享，包括亞馬遜、惠普、阿里巴巴、螞蟻金服、騰訊、百度、華為等。其中在視頻云領(lǐng)域嶄露頭角的網(wǎng)易也應(yīng)邀參加。網(wǎng)易杭州研究院多媒體技術(shù)專家郭再榮在演講中分享了移動(dòng)化時(shí)代音視頻技術(shù)的優(yōu)化策略，提到眼下網(wǎng)易將杭州研究院技術(shù)實(shí)力轉(zhuǎn)化為企業(yè)服務(wù)產(chǎn)品的云戰(zhàn)略。

同樣，基于在視頻應(yīng)用方面的深厚積淀，網(wǎng)易此前已經(jīng)推出“視頻云”產(chǎn)品，通過(guò)SDK與Demo，助力企業(yè)客戶輕松打造在線直播平臺(tái)，滿足在不同設(shè)備如手機(jī)、平板、和PC等多終端播放需求等。網(wǎng)易視頻云在網(wǎng)易BoBo、網(wǎng)易CC等娛樂(lè)直播等表現(xiàn)出良好的穩(wěn)定性，此前還曾支持網(wǎng)易實(shí)現(xiàn)移動(dòng)端視頻直播“有態(tài)度人物盛典”。

手機(jī)音視頻應(yīng)用呈現(xiàn)井噴狀態(tài)

近兩年，由于移動(dòng)網(wǎng)絡(luò)的不斷升級(jí)和視頻直播的流行，手機(jī)音視頻方面的App應(yīng)用呈現(xiàn)出井噴狀態(tài)。在網(wǎng)易杭州研究院多媒體技術(shù)專家郭再榮看來(lái)，移動(dòng)端的音視頻直播、點(diǎn)播之所以能大量爆發(fā)，跟幾個(gè)因素分不開：

首先，音視頻直播、點(diǎn)播的需求一直大量存在，包括各種行業(yè)應(yīng)用，比如視頻門戶、娛樂(lè)直播、游戲直播、在線教育、遠(yuǎn)程醫(yī)療，遠(yuǎn)程監(jiān)控，企業(yè)協(xié)作，社交應(yīng)用等等。“以前之所以沒有全面爆發(fā)，是因?yàn)橛布l件不滿足，比如網(wǎng)絡(luò)的帶寬有限”，郭再榮認(rèn)為，目前網(wǎng)速仍在不斷提升，光纖普及到小區(qū)，有線網(wǎng)絡(luò)的上下行帶寬已經(jīng)達(dá)到要求，“移動(dòng)網(wǎng)絡(luò)4G接入速度也很快，滿足了基本的視頻直播帶寬要求。而且網(wǎng)絡(luò)資費(fèi)也比較低，變得大眾可接受。”

其次，智能硬件設(shè)備大量普及，特別是大屏智能手機(jī)、平板，基本是人手一臺(tái)。同時(shí)這些設(shè)備的性能也越來(lái)越強(qiáng)勁。郭再榮介紹，“硬件性能的提升解決了視頻編解碼的性能瓶頸，可以拿手機(jī)、平板作為PC機(jī)器使用”。

基于以上兩點(diǎn)，隨時(shí)隨地的直播成為可能。“觀眾在流暢地觀看著視頻畫面的同時(shí)，其實(shí)并不知道這背后我們?cè)鉀Q過(guò)大量的技術(shù)難題。”郭再榮介紹，網(wǎng)易視頻云凝聚了網(wǎng)易公司15年的技術(shù)積累，在音視頻編解碼上有著豐富技術(shù)底蘊(yùn)和完整成熟的解決方案，給該領(lǐng)域的云服務(wù)市場(chǎng)帶來(lái)了穩(wěn)定的巨頭級(jí)產(chǎn)品。

移動(dòng)音視頻技術(shù)優(yōu)化的七個(gè)方向

大會(huì)資料顯示，郭再榮2006年畢業(yè)于武漢大學(xué)通信與信息系統(tǒng)專業(yè)，一直從事視頻編解碼算法的研發(fā)，在音視頻編解碼器，視頻點(diǎn)播和互動(dòng)直播服務(wù)開發(fā)方面擁有十年的實(shí)戰(zhàn)經(jīng)驗(yàn)。

針對(duì)移動(dòng)端視頻優(yōu)化，郭再榮在演講中提出了七個(gè)方向：

第一，選擇通用性好，性能良好，復(fù)雜度相對(duì)較低的編碼器，主流的是H.264編碼器，開源的主要是x264和openh264，其中openh264是思科開源項(xiàng)目，針對(duì)實(shí)時(shí)視頻通話場(chǎng)景做了優(yōu)化。

第二，在選定一個(gè)編碼標(biāo)準(zhǔn)之后，就要看是否采用硬件編碼方式，如果采用軟件編碼，那么會(huì)比較耗費(fèi)cpu資源，表現(xiàn)出來(lái)就是設(shè)備發(fā)燙，耗電快，但是設(shè)備兼容性好，幾乎可以在任何設(shè)備上運(yùn)行。如果采用硬件編碼方式，那么編碼性能好，完全可以支持1080p圖像全高清的實(shí)時(shí)編碼，而且也省電，但是設(shè)備的適配性比較差，特別Android設(shè)備的硬件編碼模式支持的比較差。ios設(shè)備支持的適配性比較好，但是，沒有開放更底層的編碼接口，難做到按幀獲取碼流，進(jìn)行實(shí)時(shí)直播。另外用硬件編碼方式，也比較難做動(dòng)態(tài)碼率控制。針對(duì)網(wǎng)絡(luò)直播和點(diǎn)播場(chǎng)景，在編碼階段要盡量做到碼率波動(dòng)的平滑，這個(gè)需要優(yōu)化碼率控制算法。

第三，對(duì)于Gop的大小也要根據(jù)應(yīng)用場(chǎng)景做適當(dāng)?shù)恼{(diào)整，如果關(guān)鍵幀之間的間隔小，那么碼率會(huì)出現(xiàn)頻繁的尖峰，發(fā)送數(shù)據(jù)的時(shí)候，會(huì)造成瞬間的擁塞。

第四，可以通過(guò)設(shè)置buffer來(lái)解決碼率波動(dòng)問(wèn)題，比如在推流端增加一個(gè)發(fā)送緩沖區(qū)，按照固定的碼率發(fā)送數(shù)據(jù)，而不是根據(jù)每幀數(shù)據(jù)來(lái)發(fā)送。同樣在播放器也可以設(shè)置一個(gè)接收buffer，解決網(wǎng)絡(luò)波動(dòng)對(duì)播放造成的頻繁卡頓。但是這個(gè)設(shè)置過(guò)大的buffer會(huì)增加延時(shí)，不適合直播應(yīng)用，比較適合點(diǎn)播應(yīng)用。對(duì)于直播場(chǎng)景，要求端到端的延時(shí)盡量小，播放端能快速啟動(dòng)，看到畫面。對(duì)于rtmp直播還要解決累計(jì)延時(shí)，可以采用在播放器主動(dòng)清空buffer的方法。

第五，不管是直播還是點(diǎn)播服務(wù)，都存在一個(gè)端到端的數(shù)據(jù)傳輸鏈路問(wèn)題。在推流端先要連接到接流服務(wù)器，這時(shí)就要選擇合適的節(jié)點(diǎn)，一種是根據(jù)客戶端的DNS域名來(lái)選擇就近的節(jié)點(diǎn)，當(dāng)DNS配置有誤的時(shí)候，可能會(huì)存在調(diào)度不準(zhǔn)的問(wèn)題。另外一種是根據(jù)客戶端的出口IP來(lái)選擇節(jié)點(diǎn)，這種調(diào)度方式會(huì)比較準(zhǔn)確一些。同樣對(duì)于播放器端也是采用類似的方式來(lái)選擇流媒體服務(wù)器集群的邊緣節(jié)點(diǎn)。

第六，在整個(gè)直播或點(diǎn)播過(guò)程中，最好有實(shí)時(shí)統(tǒng)計(jì)數(shù)據(jù)，包括網(wǎng)絡(luò)類型，機(jī)器信息，實(shí)時(shí)網(wǎng)絡(luò)狀況，幀率，碼率，分別率等。這樣可以分析遇到的各種問(wèn)題，特別是對(duì)于直播場(chǎng)景，當(dāng)網(wǎng)絡(luò)波動(dòng)，出現(xiàn)卡頓時(shí)，可以為動(dòng)態(tài)調(diào)整qos提供依據(jù)。

第七，對(duì)于直播場(chǎng)景，采用qos策略，動(dòng)態(tài)調(diào)整編碼參數(shù)，包括幀率，碼率，分辨率，緩沖區(qū)。當(dāng)直播出現(xiàn)卡頓，采用快降慢升的策略，當(dāng)網(wǎng)絡(luò)波動(dòng)比較厲害，這樣可以避免編碼參數(shù)頻繁的來(lái)回調(diào)整，造成惡性循環(huán)。當(dāng)進(jìn)行編碼參數(shù)調(diào)整時(shí)，一般是根據(jù)分辨率把碼率，幀率分成幾個(gè)檔次，然后在根據(jù)一定時(shí)間段內(nèi)的統(tǒng)計(jì)數(shù)據(jù)，在這幾組參加集會(huì)之間進(jìn)行來(lái)回切換，確保音視頻流暢的同時(shí)，盡量提高圖像質(zhì)量。

網(wǎng)易視頻云承載網(wǎng)易杭研技術(shù)實(shí)力

目前，視頻云正廣泛應(yīng)用于在線教育、遠(yuǎn)程醫(yī)療、娛樂(lè)秀場(chǎng)、企業(yè)協(xié)作、在線金融、視頻門戶等行業(yè)。在視頻云領(lǐng)域，近年來(lái)涌進(jìn)了眾多創(chuàng)業(yè)公司，但因?yàn)榧夹g(shù)參差不齊，穩(wěn)定性和易用性成為急需解決的重要問(wèn)題。

郭再榮透露，視頻云行業(yè)雖然垂直，但卻需要更多基礎(chǔ)設(shè)施支持。在這方面，網(wǎng)易視頻云承載了網(wǎng)易杭州研究院的技術(shù)實(shí)力，依托的是整個(gè)網(wǎng)易公司的云端基礎(chǔ)設(shè)施能力，“這是網(wǎng)易創(chuàng)立19年逐漸積累起來(lái)的，我們的視頻云技術(shù)方案來(lái)源于網(wǎng)易系成熟的產(chǎn)品體系，目前運(yùn)行著網(wǎng)易云音樂(lè)、網(wǎng)易云課堂、網(wǎng)易bobo、網(wǎng)易青果、易信、網(wǎng)易新聞等20多個(gè)網(wǎng)易系重要產(chǎn)品。”

自去年開始，網(wǎng)易加快了技術(shù)開放和共享步伐，推出了多款云服務(wù)產(chǎn)品，瞄準(zhǔn)企業(yè)服務(wù)市場(chǎng)，包括網(wǎng)易云信（即時(shí)通訊云服務(wù)）、網(wǎng)易七魚（云客服）、視頻云、網(wǎng)易蜂巢（容器云）、易盾（反垃圾云服務(wù)）、云捕（App質(zhì)量跟蹤平臺(tái)）、網(wǎng)易有數(shù)等等。“這是長(zhǎng)久積累爆發(fā)的結(jié)果，順應(yīng)互聯(lián)網(wǎng)+的發(fā)展趨勢(shì)，通過(guò)便捷的云計(jì)算助力創(chuàng)業(yè)者、開發(fā)者”，網(wǎng)易視頻云方面表示，“為各類應(yīng)用打造一站式的在線視頻平臺(tái)，提供給市場(chǎng)真正穩(wěn)定、易用的產(chǎn)品，這是網(wǎng)易推出視頻云的初衷。”

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。