雷鋒網(wǎng) AI 科技評論按：DeepMind 提出的 WaveNet 是目前頂級的語音生成模型，論文最初于2016年9月發(fā)表，雷鋒網(wǎng) AI 科技評論也立即跟進(jìn)報(bào)道 DeepMind發(fā)布原始音頻波形深度生成模型WaveNet 。WaveNet 拋棄了以往通過聲學(xué)模型拼接語音音素的做法，完全通過深度神經(jīng)網(wǎng)絡(luò)生成原始音頻波形，并且大幅提高了語音生成質(zhì)量。

今年10月，我們也報(bào)道過 WaveNet正式商用：效率提高1000倍，僅一年時間就走出實(shí)驗(yàn)室，在 Google Assistant 中落地。在慶賀深度學(xué)習(xí)又一次完全顛覆傳統(tǒng)做法的同時，大家想必也會好奇，到底 DeepMind 做了哪些改進(jìn)才得以實(shí)現(xiàn)這樣數(shù)量級的效率提升呢？DeepMind 自己最近就發(fā)布了介紹商業(yè)化改進(jìn)后的 WaveNet 的論文，并撰寫了一篇博文通俗地介紹了其中的改進(jìn)點(diǎn)。雷鋒網(wǎng) AI 科技評論把這篇博文翻譯如下。

自 DeepMind 在2016年發(fā)表WaveNet論文后，這一頂級表現(xiàn)的語音生成模型已經(jīng)于今年10月開始用在 Google Assistant 中，為全球的用戶生成逼真的日語和美國英語語音。現(xiàn)在這個用于生產(chǎn)環(huán)境的模型稱作“并行WaveNet”，它的運(yùn)行速度要比最初發(fā)布的模型快一千多倍，而且生成的語音質(zhì)量也更高。

在近期的論文（https://deepmind.com/documents/131/Distilling_WaveNet.pdf ）中，DeepMind的研究人員們就介紹了新模型的一些細(xì)節(jié)；以及為了讓這個系統(tǒng)能在大規(guī)模并行化的計(jì)算環(huán)境中運(yùn)行，DeepMind還開發(fā)了一個新技術(shù)“概率密度蒸餾”。

WaveNet的演進(jìn)史

最初版本的WaveNet在生成語音時用了很激進(jìn)的連接方式，每次生成一個采樣點(diǎn)，而且每個新生成的采樣點(diǎn)都需要把前一個采樣點(diǎn)作為輸入（條件生成）。雖然這種做法能夠生成高質(zhì)量的音頻，每秒最高也能生成2萬4千個采樣點(diǎn)，但這種順序生成的方式對于生產(chǎn)環(huán)境來說還是太慢了。

最初版本的模型中，生成每個新的樣本都需要把前一個生成的樣本作為條件

為了解決這個問題，DeepMind的研究人員們認(rèn)為他們需要一種新的方案，它應(yīng)當(dāng)能一次生成一個長序列中的所有采樣點(diǎn)，而且沒有生成質(zhì)量的損失。他們的想到的辦法叫做 probability density distillation，“概率密度蒸餾”。它的做法是，用一個完全訓(xùn)練好的 WaveNet 模型教另一個“學(xué)生”網(wǎng)絡(luò)如何推理；這個學(xué)生網(wǎng)絡(luò)更小、并行度更高，從而也就更適合運(yùn)行在現(xiàn)代計(jì)算硬件上。這個學(xué)生網(wǎng)絡(luò)的架構(gòu)是一個規(guī)模不大的卷積神經(jīng)網(wǎng)絡(luò)的拓展，跟原來的WaveNet很相似，但它有一點(diǎn)根本性的不同，就是生成新的采樣點(diǎn)時不需要依賴任何之間生成的采樣點(diǎn)。這也就意味著，語音生成時可以把第一個單詞、最后一個單詞、以及所有當(dāng)中的單詞全部同時生成出來，就像下面的動圖里這樣。

新的WaveNet把白噪音作為輸入，然后一次同步生成所有的輸出采樣點(diǎn)。

訓(xùn)練的時候，學(xué)生網(wǎng)絡(luò)是從一個隨機(jī)狀態(tài)開始的。它的輸入是隨機(jī)白噪聲，要訓(xùn)練它做的任務(wù)就是產(chǎn)生連續(xù)的音頻波形作為輸出。學(xué)生網(wǎng)絡(luò)生成的輸出會被交給訓(xùn)練過的WaveNet模型，它會給每個采樣點(diǎn)打分，作為提供給學(xué)生網(wǎng)絡(luò)的信號，讓它了解它的輸出和理想輸出之間的差距。隨著訓(xùn)練過程進(jìn)行，學(xué)生網(wǎng)絡(luò)就可以根據(jù)反向傳播不斷調(diào)節(jié)、更新，從而學(xué)會產(chǎn)生理想的輸出。從另一個角度說，“老師”網(wǎng)絡(luò)和“學(xué)生”網(wǎng)絡(luò)都會給每一個音頻采樣點(diǎn)的取值輸出一個概率分布，然后訓(xùn)練的目標(biāo)就是讓老師的分布和學(xué)生的分布之間的KL距離最小化。

這樣的訓(xùn)練過程和生成式對抗性網(wǎng)絡(luò)（GANs）的設(shè)定有不少相似之處，學(xué)生網(wǎng)絡(luò)就像是GANs中的生成器，老師網(wǎng)絡(luò)就像是鑒別器。不過與GANs不同的是，學(xué)生的目標(biāo)并不是像GANs中那樣“騙過”老師，而是與老師合作，嘗試學(xué)習(xí)、達(dá)到老師的表現(xiàn)水平。

雖然這種訓(xùn)練技巧有不錯的表現(xiàn)，DeepMind的研究人員們還是需要增加幾個額外的損失函數(shù)，引導(dǎo)學(xué)生更好地向理想的行為前進(jìn)。具體來說，他們增加了一個感知損失來避免模型產(chǎn)生糟糕的發(fā)音，增加了一個對比度損失來進(jìn)一步減少噪聲，以及一個能量損失來讓網(wǎng)絡(luò)的音頻輸出與人類語音的能量相匹配。能量損失的作用是，如果沒有它的話，模型的音量很小，更像竊竊私語而不是朗聲說話。

應(yīng)用了以上所有這些方法之后，DeepMind就得以讓訓(xùn)練出的并行WaveNet達(dá)到與最初的WaveNet同等的語音質(zhì)量，人類測試者聽過之后的平均意見打分（MOS，5分為滿分）結(jié)果如下。值得一提的是，真正的人類語音也只有4.667的MOS分?jǐn)?shù)。

當(dāng)然，概率密度蒸餾僅僅是讓W(xué)aveNet達(dá)到生產(chǎn)化系統(tǒng)的速度和質(zhì)量的眾多必須手段之一。為了把并行WaveNet集成到Goolge Assistant的服務(wù)流水線中，DeepMind的技術(shù)應(yīng)用團(tuán)隊(duì)和谷歌語音團(tuán)隊(duì)也同樣在工程方面付出了大量努力。也正是靠著這樣的緊密協(xié)作，最初是基礎(chǔ)性研究的技術(shù)只花了12個月多一點(diǎn)點(diǎn)的時間就成為了谷歌規(guī)模、能夠服務(wù)全球用戶的正式產(chǎn)品。

并行WaveNet論文地址：https://deepmind.com/documents/131/Distilling_WaveNet.pdf 

via DeepMind Blog，雷鋒網(wǎng) AI 科技評論編譯

相關(guān)文章：

Deepmind語音生成模型WaveNet正式商用：效率提高1000倍

DeepMind發(fā)布最新原始音頻波形深度生成模型WaveNet，將為TTS帶來無數(shù)可能

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。