如今2022年世界杯如火如荼，轉(zhuǎn)眼就到了關(guān)鍵的八分之一決賽，期間抖音同步上線的“無(wú)障礙字幕直播間”也著實(shí)火了一把，成功點(diǎn)亮了熱榜并位居前列。
據(jù)了解，該功能正是借助火山同傳的技術(shù)能力以及火山語(yǔ)音的語(yǔ)音識(shí)別能力，輸出更加快速精準(zhǔn)的同傳字幕，為觀賽帶來(lái)優(yōu)質(zhì)體驗(yàn)。話說(shuō)字幕看球“更快更準(zhǔn)更專業(yè)”的背后究竟有啥黑科技加持？火山語(yǔ)音帶你一起瞧瞧！
「端到端語(yǔ)音識(shí)別：更快更準(zhǔn)的法寶」眾所周知，對(duì)語(yǔ)音的精準(zhǔn)快速識(shí)別能力是實(shí)現(xiàn)同傳字幕的重要基礎(chǔ)。為了應(yīng)對(duì)世界杯賽場(chǎng)差別各異的解說(shuō)口音和語(yǔ)速，火山語(yǔ)音團(tuán)隊(duì)基于RNN-T框架，通過(guò)大量訓(xùn)練數(shù)據(jù)的積累和持續(xù)的算法優(yōu)化，推出自研端到端的流式語(yǔ)音識(shí)別系統(tǒng)，有效規(guī)避了傳統(tǒng)的語(yǔ)音識(shí)別系統(tǒng)中涉及的大量人工流程，例如依賴專業(yè)人員設(shè)計(jì)各種口音的發(fā)聲規(guī)則等。
“這樣的語(yǔ)音識(shí)別系統(tǒng)并不需要關(guān)注底層發(fā)音字典以及有關(guān)的音素信息，采用純數(shù)據(jù)驅(qū)動(dòng)的方式就可完成，系統(tǒng)復(fù)雜度簡(jiǎn)化很多，構(gòu)建起來(lái)更加容易，效果還會(huì)更好。”火山語(yǔ)音團(tuán)隊(duì)表示。實(shí)踐顯示，優(yōu)化后的模型不僅對(duì)口音和復(fù)雜場(chǎng)景展現(xiàn)出更強(qiáng)的魯棒性，而且對(duì)領(lǐng)域詞匯的識(shí)別能力以及推理速度，字幕上屏速度也得到了大幅度提升。
「背景聲優(yōu)化：細(xì)節(jié)之處降低錯(cuò)誤率」正如球賽結(jié)果的變數(shù)頗多，世界杯賽場(chǎng)的環(huán)境更是紛繁復(fù)雜，在同傳字幕的語(yǔ)音識(shí)別過(guò)程中會(huì)“遭遇”大量背景噪音，例如背景音樂(lè)以及現(xiàn)場(chǎng)球迷的歡呼聲等。針對(duì)噪聲影響識(shí)別效果的問(wèn)題，團(tuán)隊(duì)早就關(guān)注到該細(xì)節(jié)并通過(guò)一套自動(dòng)化的方式從足球比賽音頻中提取出這些噪聲片段，并且在模型中顯式地建模噪聲，將噪聲誤出字的比例下降了95%，同時(shí)通過(guò)數(shù)據(jù)增強(qiáng)方式提高聲學(xué)模型在足球場(chǎng)景下的魯棒性，即在有背景音的情況下也能清晰識(shí)別人聲，實(shí)現(xiàn)更好的流式字幕效果。
「專項(xiàng)提升：讓字幕效果更佳」“世界杯可不是一般的比賽，這種全球范圍的大型賽事中，大量的專業(yè)術(shù)語(yǔ)以及外籍教練與運(yùn)動(dòng)員的人名，會(huì)為語(yǔ)音識(shí)別帶來(lái)不小的困難，也為我們帶來(lái)很大的挑戰(zhàn)。”對(duì)此火山語(yǔ)音團(tuán)隊(duì)率先整理了大量與足球相關(guān)以及與世界杯相關(guān)的語(yǔ)料，在這些語(yǔ)料的基礎(chǔ)上訓(xùn)練語(yǔ)言模型，通過(guò)語(yǔ)言模型干預(yù)的方式，提高了模型在足球領(lǐng)域的適配性。具體根據(jù) RNN-T 的建模方式，通過(guò)解藕聲學(xué)模型和語(yǔ)言模型，構(gòu)建了一套靈活和高效的語(yǔ)言模型干預(yù)流程。
對(duì)于教練與運(yùn)動(dòng)員人名識(shí)別難的問(wèn)題，“我們從足球相關(guān)語(yǔ)料中自動(dòng)挖掘?qū)Ｓ忻~、球隊(duì)和球員名稱等術(shù)語(yǔ)，通過(guò)在解碼備選中引入FST邏輯結(jié)構(gòu)，結(jié)合“匹配走圖+Backoff權(quán)重償還”的方式對(duì)熱詞進(jìn)行干預(yù)，有效利用該熱詞專項(xiàng)技術(shù)優(yōu)化后，這些術(shù)語(yǔ)的召回從 64% 提升到 84%；同時(shí)還聯(lián)合火山語(yǔ)音音頻合成團(tuán)隊(duì)的同學(xué)，采用TTS技術(shù)合成術(shù)語(yǔ)音頻，并加入聲學(xué)模型訓(xùn)練中，將這些術(shù)語(yǔ)的召回進(jìn)一步提高到90%，進(jìn)而為觀眾呈現(xiàn)最佳的字幕效果。”
一直以來(lái)，火山語(yǔ)音的語(yǔ)音識(shí)別技術(shù)不斷追求更快、更準(zhǔn)、更穩(wěn)定且更強(qiáng)悍的目標(biāo)，其自主研發(fā)的端到端語(yǔ)音識(shí)別系統(tǒng)CIF，與Attention-Based model相比，其整合發(fā)放機(jī)制可以更自然適用于流式任務(wù)且復(fù)雜度有所降低，解碼效率相比RNN-T有很大優(yōu)勢(shì)。即在中文公開(kāi)數(shù)據(jù)集上的測(cè)試結(jié)果非常有競(jìng)爭(zhēng)力，在英文公開(kāi)數(shù)據(jù)集Librispeech的test-clean子集上也達(dá)到了SOTA的效果。同時(shí)為了進(jìn)一步提高模型推理速度，火山語(yǔ)音團(tuán)隊(duì)還設(shè)計(jì)了一套針對(duì)語(yǔ)音識(shí)別的自動(dòng)化模型壓縮框架，在保證模型識(shí)別效果的同時(shí)降低模型尺寸，從而可以在移動(dòng)終端上實(shí)現(xiàn)接近云端的語(yǔ)音識(shí)別效果。
如今在火山語(yǔ)音的語(yǔ)音識(shí)別技術(shù)支持下，火山引擎語(yǔ)音識(shí)別產(chǎn)品已廣泛應(yīng)用于視頻娛樂(lè)、辦公會(huì)議、硬件交互、智能客服等諸多行業(yè)，為客戶提供了優(yōu)質(zhì)有前景的語(yǔ)音識(shí)別解決方案。例如針對(duì)時(shí)下火熱的音視頻創(chuàng)作推出的智能字幕解決方案，一改傳統(tǒng)字幕10分鐘視頻3小時(shí)制作的耗時(shí)費(fèi)力，不但能在幾秒鐘內(nèi)自動(dòng)生成精準(zhǔn)的語(yǔ)音識(shí)別結(jié)果，還能兼容多種口音、語(yǔ)種和方言，甚至針對(duì)創(chuàng)作常見(jiàn)的配樂(lè)和歌曲場(chǎng)景開(kāi)發(fā)了歌曲識(shí)別的亮點(diǎn)功能，大大縮減了創(chuàng)作門檻，提升了創(chuàng)作的智能化。
為應(yīng)對(duì)會(huì)議線上化的大趨勢(shì)，火山語(yǔ)音上線的實(shí)時(shí)字幕解決方案不僅可以幫助參會(huì)人更好理解會(huì)議內(nèi)容并回顧結(jié)論，還能通過(guò)“識(shí)別+翻譯”的同傳方案高效完成跨國(guó)、跨語(yǔ)言的溝通和交流；方案中包含的會(huì)議轉(zhuǎn)寫能力，不但可以準(zhǔn)確記錄參會(huì)人的討論內(nèi)容，還能根據(jù)說(shuō)話人特征進(jìn)行自動(dòng)歸類和整理，通常1小時(shí)的會(huì)議只需2-3分鐘即可輸出會(huì)議記錄，方便快捷。近日，火山引擎語(yǔ)音識(shí)別產(chǎn)品獲得了國(guó)家語(yǔ)音及圖像識(shí)別產(chǎn)品質(zhì)量檢驗(yàn)檢測(cè)中心（以下簡(jiǎn)稱“AI國(guó)檢中心”）頒發(fā)的語(yǔ)音識(shí)別增強(qiáng)級(jí)檢驗(yàn)檢測(cè)證書，也充分表明火山語(yǔ)音的語(yǔ)音識(shí)別技術(shù)能力已達(dá)到行業(yè)領(lǐng)先水平。
長(zhǎng)期以來(lái)，火山語(yǔ)音面向字節(jié)跳動(dòng)各大業(yè)務(wù)線提供行業(yè)優(yōu)質(zhì)的AI語(yǔ)音技術(shù)能力以及全棧語(yǔ)音產(chǎn)品解決方案，并通過(guò)火山引擎對(duì)外提供服務(wù)。目前團(tuán)隊(duì)的語(yǔ)音識(shí)別和語(yǔ)音合成覆蓋了多種語(yǔ)言和方言，涵蓋音視頻、有聲閱讀、語(yǔ)音交互、游戲、廣告等多種應(yīng)用場(chǎng)景，為抖音、剪映、飛書、番茄小說(shuō)、PICO等核心業(yè)務(wù)提供了領(lǐng)先的語(yǔ)音能力。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 ）
