近年來，遷移學(xué)習(xí)、風(fēng)格遷移、聲碼器、聲學(xué)模型等方面的最新進(jìn)展，為低資源語音克隆的提供了潛在的解決方案。愛奇藝聯(lián)合西北工業(yè)大學(xué)音頻語音與語言處理研究組、新加坡國立大學(xué)、清華大學(xué)深圳國際研究生院、起源智能、希爾貝殼在ICASSP2021舉辦了多說話人多風(fēng)格音色克隆大賽——M2VoC。

M2VoC挑戰(zhàn)賽旨在提供一個(gè)通用的數(shù)據(jù)集以及一個(gè)公平的測(cè)試平臺(tái)，對(duì)語音克隆任務(wù)進(jìn)行研究。作為2021年聲學(xué)、語音和信號(hào)處理國際會(huì)議（ICASSP2021）信號(hào)處理挑戰(zhàn)旗艦任務(wù)之一，吸引了多支學(xué)術(shù)界和工業(yè)界的研究人員加入了挑戰(zhàn)。 

本周，在ICASSP2021峰會(huì)上，M2VoC挑戰(zhàn)賽順利落幕，并公布了比賽成果。共153只隊(duì)伍注冊(cè)參賽了本次挑戰(zhàn)賽，其中有多家學(xué)術(shù)機(jī)構(gòu)和互聯(lián)網(wǎng)公司共同參與其中，學(xué)術(shù)機(jī)構(gòu)包括北京大學(xué)，清華大學(xué)，浙江大學(xué)，上海交通大學(xué)，國立臺(tái)灣大學(xué)，哈工大，University of Crete，中科院自動(dòng)化所，University of Tsukuba，Nagoya University，復(fù)旦大學(xué)，香港中文大學(xué)，中科院大學(xué)，電子科技大學(xué)等；參與互聯(lián)網(wǎng)公司包括虎牙，微軟，滴滴，騰訊，網(wǎng)易等。

愛奇藝多說話人多風(fēng)格音色克隆大賽分為少樣本賽道和極少樣本賽道兩大任務(wù)。在少樣本賽道方面，主辦方針對(duì)每個(gè)說話人提供100句不同說話風(fēng)格的訓(xùn)練樣本；在極少樣本賽道方面，主辦方針對(duì)每個(gè)說話人提供5句不同說話風(fēng)格的訓(xùn)練樣本；同時(shí)，主辦方提供了兩個(gè)基礎(chǔ)庫，分別包含5000句不同說話風(fēng)格的訓(xùn)練樣本，供參賽者訓(xùn)練基礎(chǔ)模型。最終，主辦方經(jīng)過“說話人相似度、語音質(zhì)量、風(fēng)格/表現(xiàn)力、發(fā)音準(zhǔn)確率”四大標(biāo)準(zhǔn)加權(quán)作為比賽評(píng)判標(biāo)準(zhǔn)。

針對(duì)提交成果，愛奇藝組委會(huì)進(jìn)行了兩輪主觀評(píng)估：第一輪包括所有團(tuán)隊(duì)的提交，第二輪則對(duì)幾個(gè)得分最高的團(tuán)隊(duì)進(jìn)行了進(jìn)一步評(píng)估。每個(gè)賽道的最終獲勝者是根據(jù)兩輪比賽的綜合結(jié)果選出的?？紤]到在短時(shí)間內(nèi)對(duì)質(zhì)量、風(fēng)格和相似度進(jìn)行主觀評(píng)價(jià)的巨大成本，組委會(huì)采用了抽樣評(píng)價(jià)方法。第一輪和第二輪主觀聽力測(cè)試分別有66名和30名專業(yè)聽測(cè)人員參加。所有的聽測(cè)人員都是以漢語為母語，由語言學(xué)專業(yè)的大學(xué)生和專業(yè)的語音注釋員組成。

 

圖：賽道一提交的MOS

圖：賽道二提交的MOS

比賽匯集了業(yè)內(nèi)頂尖團(tuán)隊(duì)，作為業(yè)內(nèi)首個(gè)多說話人多風(fēng)格音色克隆比賽，體現(xiàn)了當(dāng)前業(yè)內(nèi)和學(xué)界最高水平。本次挑戰(zhàn)賽共收錄18篇相關(guān)論文，其中，6篇論文被ICASSP2021收錄。

圖：ICASSP 2021本次挑戰(zhàn)賽收錄論文

參賽隊(duì)伍在Acoustic model、Speaker representation、Vocoder、Speaker adaptation strategy等多個(gè)方面都提出了創(chuàng)新，并取得了很好的效果。相關(guān)成果應(yīng)用于APP口播、UGC配音、有聲書、風(fēng)格化語音合成等多個(gè)應(yīng)用場(chǎng)景，能夠滿足不斷變化的聲音定制場(chǎng)景，特別是基于多風(fēng)格低質(zhì)量語料場(chǎng)景下的聲音的定制。

 

圖：各賽道第一輪評(píng)估中所有提交的MOS

本次愛奇藝多說話人多風(fēng)格音色克隆大賽（M2VoC）是世界上第一個(gè)小資源音色克隆挑戰(zhàn)賽，旨在為語音克隆任務(wù)的研究提供一個(gè)通用的數(shù)據(jù)集和一個(gè)公平的測(cè)試平臺(tái)。挑戰(zhàn)展示了當(dāng)前語音克隆技術(shù)的性能：隨著深度學(xué)習(xí)的進(jìn)步，少樣本語音克隆已經(jīng)取得了相當(dāng)好的性能，但單樣本語音克隆仍然是一個(gè)未解決的問題。在現(xiàn)實(shí)世界的語音克隆應(yīng)用中，低質(zhì)量（嘈雜）音頻和訓(xùn)練/適應(yīng)/推理的時(shí)間/成本限制也是不可忽視的重要因素。

愛奇藝也在ICASSP2021發(fā)布了相關(guān)論文，總結(jié)本次大賽的情況。希望通過本次大賽的成果，為音色克隆、語音識(shí)別等前沿技術(shù)的創(chuàng)新探索提供更多機(jī)會(huì)，進(jìn)一步拓寬人工智能技術(shù)的應(yīng)用空間，為視聽行業(yè)發(fā)展提供新的可能。

福利：在愛奇藝技術(shù)產(chǎn)品團(tuán)隊(duì)微信公眾號(hào)，后臺(tái)回復(fù)“papers”，獲取18篇挑戰(zhàn)賽論文合集。

雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。