微軟研究院在IJCAI2016第一天的Tutorial上講述了自己將深度學(xué)習(xí)、深度神經(jīng)網(wǎng)絡(luò)應(yīng)用于語(yǔ)義理解上的一些經(jīng)驗(yàn)和收獲。作為小娜和小冰的開(kāi)發(fā)者，微軟在自然預(yù)言語(yǔ)義理解上的造詣無(wú)疑是很高的。而早在一月就將其深度學(xué)習(xí)開(kāi)發(fā)工具包CNTK開(kāi)源的舉動(dòng)也表明微軟確實(shí)希望促進(jìn)人工智能的發(fā)展。這次就讓我們通過(guò)Tutorial上演講PPT的概覽部分，看看微軟在他們最擅長(zhǎng)的語(yǔ)義識(shí)別領(lǐng)域會(huì)分享給我們一些什么樣的經(jīng)驗(yàn)。我們將PPT的文字翻譯直接放在了幻燈片內(nèi)，有興趣的讀者可以點(diǎn)開(kāi)大圖查看，不過(guò)大家也可以直接觀看我們?cè)诿繌垐D后寫(xiě)下的注解，一樣能幫你理解微軟的意思。

微軟首先介紹了深度神經(jīng)網(wǎng)絡(luò)的簡(jiǎn)要?dú)v史。經(jīng)過(guò)了上圖中所示技術(shù)爆發(fā)點(diǎn)，幻滅的低谷，生產(chǎn)平穩(wěn)期，膨脹期望巔峰等幾個(gè)階段。終于迎來(lái)了新的高潮。

在2013年，深度學(xué)習(xí)成為了MIT評(píng)選的年度十大科技突破之一。

而對(duì)深度學(xué)習(xí)的學(xué)術(shù)研究也從2012年開(kāi)始到2015年出現(xiàn)爆發(fā)式的增長(zhǎng)。在NIPS 2015會(huì)議中集中爆發(fā)，典型的證據(jù)就是主會(huì)場(chǎng)內(nèi)的相關(guān)研究參與人數(shù)有了巨大增長(zhǎng)，相關(guān)話題的指導(dǎo)報(bào)告更是增加了100%還多。

2012年紐約時(shí)報(bào)的報(bào)道“科學(xué)家們?cè)谏疃葘W(xué)習(xí)上看到了希望”被視為深度學(xué)習(xí)崛起的標(biāo)志之一。

DNN是一種完全連接的深度神經(jīng)網(wǎng)絡(luò)，簡(jiǎn)單來(lái)說(shuō)，先訓(xùn)練每個(gè)都含有一個(gè)隱含層的生產(chǎn)力模型，然后把它們組合成一個(gè)深度信任網(wǎng)絡(luò)，然后添加輸出并利用反向傳播來(lái)訓(xùn)練DNN網(wǎng)絡(luò)。

上圖是微軟在各種領(lǐng)域?qū)谏疃葘W(xué)習(xí)的語(yǔ)義識(shí)別的應(yīng)用。

今天微軟要講的這個(gè)指南的焦點(diǎn)，并非集中在語(yǔ)音識(shí)別或者圖像識(shí)別上，而是語(yǔ)音文本的處理和理解，一共分為5部分

上圖是一個(gè)需求分類問(wèn)題的舉例，比如輸入一個(gè)問(wèn)題：丹佛市中心的壽司店，但這個(gè)店屬于餐館，酒店，夜店，航班那個(gè)領(lǐng)域的店或者館呢？這個(gè)是需要搜索引擎更加細(xì)化分類的。

上圖給出了一個(gè)單神經(jīng)元模型的原理，當(dāng)輸入一個(gè)X值后，函數(shù)最終會(huì)將其通過(guò)logistic回歸進(jìn)行分類，決定是否要給Y加上標(biāo)簽，并與事先準(zhǔn)備好的標(biāo)簽核對(duì)。以此來(lái)完成學(xué)習(xí)的過(guò)程。

上圖是單個(gè)的神經(jīng)元模型，把一個(gè)數(shù)值轉(zhuǎn)化為概率，然后把概率轉(zhuǎn)化為一個(gè)非線性激活函數(shù)，再進(jìn)行l(wèi)ogistic回歸。

在上圖中，微軟給出了訓(xùn)練模型的思路，由于是只有一個(gè)神經(jīng)元組成的神經(jīng)網(wǎng)絡(luò)，因此方法比較簡(jiǎn)單，要訓(xùn)練的數(shù)據(jù)集是一組由二維數(shù)組組成的數(shù)對(duì)。

訓(xùn)練參數(shù)的過(guò)程，就是不斷的更換w，使得損失函數(shù)最小。具體方式是使用隨機(jī)梯度下降，將所有訓(xùn)練樣本更新直到函數(shù)收斂。

實(shí)際問(wèn)題基本不可能用單個(gè)神經(jīng)元的網(wǎng)絡(luò)就能解決。上圖是一個(gè)多層神經(jīng)網(wǎng)絡(luò)的流程圖，實(shí)際上也和目前絕大多數(shù)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)類似。如果我們忽略下部的結(jié)構(gòu)，只看輸入層、最上面的一層隱含層和輸出層，我們就會(huì)發(fā)現(xiàn)這正是一個(gè)單神經(jīng)元神經(jīng)網(wǎng)絡(luò)的架構(gòu)示意。而包含了下面的其他隱含層之后，就是一個(gè)多層神經(jīng)元的結(jié)構(gòu)了，將原始數(shù)據(jù)（詞語(yǔ)向量）輸入隱藏層中，經(jīng)過(guò)參數(shù)w的投射生成新的向量，這個(gè)過(guò)程就稱作特性生成。

可以看到，標(biāo)準(zhǔn)機(jī)器學(xué)習(xí)的過(guò)程同深度學(xué)習(xí)最大的區(qū)別，正在于特征訓(xùn)練的方式，傳統(tǒng)的特征訓(xùn)練需要開(kāi)發(fā)者手動(dòng)提取特征，顯得比較累。而深度學(xué)習(xí)可以自動(dòng)從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)到特征。顯得靈活很多，不過(guò)代價(jià)就是函數(shù)優(yōu)化和參數(shù)選擇等的工作量會(huì)更重。

為什么要使用多個(gè)隱含層呢？毫無(wú)疑問(wèn)的，適當(dāng)增加隱藏層會(huì)讓算法的效果更好。對(duì)特征的學(xué)習(xí)和轉(zhuǎn)換也更靈活。類似深度學(xué)習(xí)用于圖像識(shí)別時(shí)的像素→邊緣→紋理→主題→局部→物體整體的過(guò)程。深度學(xué)習(xí)用于文本分析的時(shí)候也遵循了一個(gè)從字母→單詞→詞組→從句→句子→整個(gè)故事的過(guò)程。訓(xùn)練層數(shù)越多，對(duì)這些特征的描述就越精確。最終提取出來(lái)的效果也會(huì)越好。

DNN有許多中不同的表現(xiàn)形式，它們分別有各自的應(yīng)用場(chǎng)景和優(yōu)勢(shì)。在此微軟將其分為了三大類和六小類：

分類任務(wù)——通過(guò)X將Y分類標(biāo)注

主要應(yīng)用：多層感知機(jī)，卷積神經(jīng)網(wǎng)絡(luò)。

分級(jí)任務(wù)——通過(guò)計(jì)算X和Y的加權(quán)和進(jìn)行分級(jí)。

主要應(yīng)用：暹羅神經(jīng)網(wǎng)絡(luò)、深度語(yǔ)義相似模型

文本生成任務(wù)：由X的值生成Y

主要應(yīng)用：序列對(duì)序列網(wǎng)絡(luò)、記憶網(wǎng)絡(luò)

在上圖中，微軟開(kāi)始講解一個(gè)具體的例子：深度語(yǔ)義相似模型（DSSM）。這種模型的處理方式是使用X和Y組成的文本流來(lái)計(jì)算語(yǔ)義相似度。方式是使用深度神經(jīng)網(wǎng)絡(luò)先在潛在語(yǔ)義空間建立一個(gè)x和y的兩個(gè)特征向量。然后計(jì)算特征向量之間的余弦相似程度。

上兩圖是一個(gè)具體的原理圖。表現(xiàn)了計(jì)算相似語(yǔ)義空間的方法，而最后一張圖給出了一個(gè)基于此方法的整個(gè)卷積DSSM網(wǎng)絡(luò)的示意圖和原理說(shuō)明。

總結(jié)：

深度學(xué)習(xí)曾被認(rèn)為不適合用來(lái)做語(yǔ)義理解。主要是因?yàn)樵~語(yǔ)之間的相似程度與其含義的相似程度并無(wú)太大關(guān)系。詞表的出現(xiàn)一定程度上解決了這個(gè)問(wèn)題。而現(xiàn)在，深度學(xué)習(xí)在語(yǔ)義理解上的障礙已經(jīng)基本不存在了，微軟此次提供的思路也是一個(gè)很好的參考。相信應(yīng)用上了深度學(xué)習(xí)的語(yǔ)義理解程序的表現(xiàn)將會(huì)有極大的提升。

雷鋒網(wǎng)將持續(xù)關(guān)注IJCAI大會(huì)的最新消息，為大家?guī)?lái)AI科研領(lǐng)域的最新消息，歡迎持續(xù)關(guān)注。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。