神經(jīng)網(wǎng)絡(luò)是一種模仿生物神經(jīng)網(wǎng)絡(luò)（如大腦）的結(jié)構(gòu)和功能的數(shù)學(xué)模型或計(jì)算模型，它能在訓(xùn)練數(shù)據(jù)的過程中尋找模式以對數(shù)據(jù)進(jìn)行預(yù)測和分類。近年來，神經(jīng)網(wǎng)絡(luò)的研究極大促進(jìn)了人工智能的發(fā)展，科學(xué)家用它開發(fā)出不少高性能的系統(tǒng)應(yīng)用——比如用神經(jīng)網(wǎng)絡(luò)識別數(shù)字圖像中的某些對象或推斷文本主題等。

雖然神經(jīng)網(wǎng)絡(luò)在受到訓(xùn)練之后能夠很好地將數(shù)據(jù)分門別類，但是，即使是它的設(shè)計(jì)者也無從得知它們是如何思考的。它就像一個(gè)黑匣子。若是進(jìn)行圖像識別，也許還能通過反向運(yùn)行神經(jīng)網(wǎng)絡(luò)找出它識別和決策的內(nèi)在因素，正如雷鋒網(wǎng)文章《深度 | Nature：我們能打開人工智能的“黑箱”嗎？》中曾提到的，Tyka 和 Google 的研究員為了深入研究黑箱問題而開發(fā)的 Deep Dream 算法，從一個(gè)圖形開始，好比說一朵花或者一個(gè)沙灘，通過修改它來提高特定的頂級神經(jīng)元的反應(yīng)。相比之下，文本處理系統(tǒng)的決策過程就較為晦澀難懂了。

在由計(jì)算機(jī)語言學(xué)協(xié)會（the Association for Computational Linguistics）舉辦的會議中，研究人員們將會討論自然語言處理中的一些經(jīng)驗(yàn)。來自 MIT 計(jì)算機(jī)科學(xué)及人工智能實(shí)驗(yàn)室( CSAIL )的研究院會展示一種訓(xùn)練神經(jīng)網(wǎng)絡(luò)的新方法。論文中表示這種新方法不僅能做預(yù)測和分類，更重要的是能給出其決策背后的原因。

“在實(shí)際應(yīng)用中，有時(shí)人們會特別想知道一個(gè)模型到底為什么能做出這樣那樣的預(yù)測，” MIT 電氣工程和計(jì)算機(jī)科學(xué)研究生，同時(shí)也是該論文的第一作者，Tao Lei 說道，“醫(yī)生不相信機(jī)器學(xué)習(xí)，主要也是因?yàn)樗龀龅臎Q策無依據(jù)可尋。 ”

Regina Barzilay 是 Delta 電子電氣工程與計(jì)算機(jī)科學(xué)教授，同時(shí)也是 Lei 的論文指導(dǎo)顧問，他說道，“預(yù)測錯(cuò)誤所造成的成本損失是極高的，不僅在醫(yī)療領(lǐng)域，在所有領(lǐng)域都是如此。因此你得說清楚根據(jù)機(jī)器學(xué)習(xí)的預(yù)測做出進(jìn)一步行動，背后的原因是什么 ?！?/p>

“而且，這項(xiàng)工作涉及范圍很廣，” MIT 電氣工程和計(jì)算機(jī)科學(xué)教授，該論文的第三作者 Tommi Jaakkola 表示道，“你可能不僅想弄清楚一個(gè)模型是如何做出正確預(yù)測的，而且還想對它應(yīng)做出的加某些影響預(yù)測類型施。一個(gè)完全不懂機(jī)器學(xué)習(xí)的外行該如何與一個(gè)受過算法訓(xùn)練的復(fù)雜模型進(jìn)行對話？如果模型能告訴你做出某項(xiàng)預(yù)測背后的原因是什么，人們也許就能以一種新的方式和模型進(jìn)行互動?！?/p>

| 虛擬大腦

文章開頭已提到過，神經(jīng)網(wǎng)絡(luò)是模仿大腦結(jié)構(gòu)而制成。和人類大腦中的神經(jīng)元一樣，它們包含大量的處理節(jié)點(diǎn)，節(jié)點(diǎn)之間彼此連接，形成一個(gè)密集的網(wǎng)絡(luò)，但其認(rèn)知能力卻相當(dāng)初級。

在深度學(xué)習(xí)過程中，訓(xùn)練數(shù)據(jù)被送到輸入節(jié)點(diǎn)中，網(wǎng)絡(luò)的輸入節(jié)點(diǎn)會對其進(jìn)行修改并輸送給其他節(jié)點(diǎn)，以此類推。儲存在神經(jīng)網(wǎng)絡(luò)輸出節(jié)點(diǎn)中的信息會和試圖要學(xué)習(xí)的分類條目進(jìn)行匹配， 這些類別可能是物體形象，或是文章主題。

網(wǎng)絡(luò)在接受訓(xùn)練時(shí)，各個(gè)節(jié)點(diǎn)在傳遞信息時(shí)一直在對其進(jìn)行修改，使得最后輸出最佳結(jié)果。但整個(gè)過程結(jié)束時(shí)，編程網(wǎng)絡(luò)的計(jì)算機(jī)科學(xué)家往往也不知道這些節(jié)點(diǎn)到底是怎么設(shè)置的，或者，很難把低級信息轉(zhuǎn)成讓人通俗易懂的系統(tǒng)決策過程。

在該論文中， Lei, Barzilay 和 Jaakkola 專門強(qiáng)調(diào)了用文本數(shù)據(jù)進(jìn)行訓(xùn)練的神經(jīng)網(wǎng)絡(luò)。為了解釋神經(jīng)網(wǎng)絡(luò)的決策過程，CSAIL 研究院把神經(jīng)網(wǎng)絡(luò)分成兩個(gè)模塊，第一模塊從訓(xùn)練數(shù)據(jù)中提取文本段，并且根據(jù)其長度和相干性來對分段進(jìn)行評分：分段越短，并且從連續(xù)單詞串中抓取的分段越多，其分?jǐn)?shù)越高。

接著，第一模塊把抓取的數(shù)據(jù)傳送給第二模塊，由第二模塊來執(zhí)行預(yù)測和分類任務(wù)。兩個(gè)模塊同時(shí)訓(xùn)練，既要使第一模塊的分?jǐn)?shù)提高，又要增加預(yù)測和分類的準(zhǔn)確性。

研究員們測試系統(tǒng)所用的其中一個(gè)數(shù)據(jù)集是某網(wǎng)站用戶對不同啤酒的回復(fù)評論。數(shù)據(jù)集包括評論的原始文本和對應(yīng)評級，從芳香度、味覺和外觀三個(gè)方面來評價(jià)，每一個(gè)都采用五星評級制。

而自然語言處理員對這些數(shù)據(jù)感興趣還有一個(gè)原因，這些數(shù)據(jù)同時(shí)被人們進(jìn)行手動注釋，表明了不同回復(fù)所對應(yīng)的不同等級是什么。比如，一個(gè)回復(fù)可能有八到九個(gè)句子，注釋就會標(biāo)出和啤酒有關(guān)的部分，比如“大約半英寸厚的棕褐色泡沫”、“明顯愛爾蘭啤酒的味道”或者“缺乏碳酸化”等等。

| 驗(yàn)證

該數(shù)據(jù)集能很好地測試 CSAIL 研究人員的系統(tǒng)。比如，如果第一模塊提取了三個(gè)短語，而第二模塊把它們對應(yīng)到相關(guān)等級中，就相當(dāng)于該系統(tǒng)的判斷基礎(chǔ)與人類注釋的判斷基礎(chǔ)相同。

試驗(yàn)中，系統(tǒng)判斷在芳香度和外觀和人類判斷相似度分別達(dá)到 96% 和 95%，對于味道的相似度則略差，有85%。

論文中，研究人員還報(bào)道了利用自由問答所獲得的數(shù)據(jù)測試該系統(tǒng)得到的結(jié)果，以判斷是否一個(gè)給出的問題先前已被回答過。

還有些成果他們沒有發(fā)表，這包括將該系統(tǒng)應(yīng)用于數(shù)千份乳腺活檢的病理報(bào)告。在該應(yīng)用過程中，它學(xué)會了提取文本以為病理學(xué)家提供診斷基礎(chǔ)。甚至還能用它來分析乳房的 X 光照片，其中第一個(gè)模塊提取的是圖像而不是文本。

“對于深度學(xué)習(xí)，尤其是用深度學(xué)習(xí)進(jìn)行自然語言處理，人們往往會夸大其詞，”美國東北大學(xué)計(jì)算機(jī)與信息科學(xué)副教授  Byron Wallace 說道，“這些模型有一個(gè)很大的缺點(diǎn)，它們對于人類就像是黑匣子。模型不僅要能做出準(zhǔn)確預(yù)測，還要能告訴你背后的原因。后者很重要?！?/p>

“在會上，我們發(fā)現(xiàn)有人和我們做類似的研究，” Wallace 補(bǔ)充說道，“我不知道 Regina 也在做這個(gè)，而且我覺得她的方法更好。我們的方法是，比如，有人告訴我們一個(gè)電影評論給的評價(jià)很高，我們就假設(shè)他們會在句子中做標(biāo)記，并且給出理由。我們通過這種方式訓(xùn)練深度學(xué)習(xí)模型，來提取這些原因。但是他們無需假設(shè)，也就是無需人類注釋神經(jīng)網(wǎng)絡(luò)就能給出做決策的原因。這個(gè)方法非常好?！?/p>

 via：scienceblog

延伸閱讀：

線性資本王淮：明年人工智能泡沫將達(dá)到頂點(diǎn)

誰會贏得美國大選？AI 押注特朗普

2016中美項(xiàng)目秋季交流會，來自硅谷的人工智能有哪些新創(chuàng)意？

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。