Medium作者Caleb Garling在吳恩達(dá)結(jié)束了舊金山的深度學(xué)習(xí)峰會(huì)后，與進(jìn)行了一次訪談。在大會(huì)上吳恩達(dá)受到了一大群仰慕他的計(jì)算機(jī)科學(xué)家的訪問(wèn)。他是斯坦福深度學(xué)習(xí)教授，也是前Google Brain的負(fù)責(zé)人和Coursera的創(chuàng)始人，現(xiàn)在他擔(dān)任著百度公司首席科學(xué)家。

深度學(xué)習(xí)已經(jīng)成為了計(jì)算機(jī)領(lǐng)域最熱門(mén)的話題之一了，這在很大程度上是由于Geoff Hinton在過(guò)去十年的努力，現(xiàn)在Geoff Hinton是Google的頭號(hào)人物之一。他們的想法是，如果你反饋給一臺(tái)電腦很多圖像，比方說(shuō)一只狗的圖像，計(jì)算機(jī)最終將學(xué)會(huì)如何識(shí)別犬類。如果我們可以教會(huì)機(jī)器這么做，機(jī)器將很快能真正的擁有人的感觀——理解語(yǔ)言和圖像。

吳恩達(dá)和Caleb Garling談?wù)摿怂麕ьI(lǐng)百度在深度學(xué)習(xí)中面臨的挑戰(zhàn)，他強(qiáng)調(diào)，百度只對(duì)可以影響 1 億用戶的技術(shù)有興趣。其本人十分友好溫和，是那種說(shuō)起話來(lái)你不好意思打斷他的人。

人們往往將我們的生物大腦與計(jì)算機(jī)神經(jīng)網(wǎng)絡(luò)混為一談。你能解釋為什么這是不準(zhǔn)確的？

在大腦中的單個(gè)神經(jīng)元是一個(gè)非常復(fù)雜的機(jī)器，即使到了今天我們?nèi)匀慌幻靼?。在?jì)算機(jī)神經(jīng)網(wǎng)絡(luò)中的單個(gè)“神經(jīng)元”是一個(gè)非常簡(jiǎn)單的數(shù)學(xué)函數(shù)，只捕捉了復(fù)雜的生物神經(jīng)元中很小的一部分。這么說(shuō)來(lái)計(jì)算機(jī)神經(jīng)網(wǎng)絡(luò)只是模仿人類大腦，但真正的人造神經(jīng)網(wǎng)絡(luò)是比不上我們生物的大腦。

深度學(xué)習(xí)算法在如今非常擅長(zhǎng)的一件事就是學(xué)習(xí)輸入，并將其映射到一個(gè)輸出，X到Y(jié)。學(xué)習(xí)這一概念將是困難的。

有一件事是百度在幾個(gè)月前做到，那就是輸入圖像，并輸出文字。我們發(fā)現(xiàn)，你可以學(xué)習(xí)這些輸入輸出的映射?，F(xiàn)在仍然有很多需要改進(jìn)的地方，但它是一個(gè)很有前途的方法，可以讓電腦理解這些高層次的概念。

普通話和英文，幾乎從任何方面而言這都是兩種完全不同的語(yǔ)言，所以對(duì)于理解這兩種語(yǔ)言的機(jī)器框架來(lái)說(shuō)，到底有何不同呢？

現(xiàn)有的科技理論還沒(méi)有成熟到讓吳恩達(dá)足以言簡(jiǎn)意賅地給出答案的地步。我們已經(jīng)有很好的英文框架了，現(xiàn)在我們想嘗試解決中文框架的問(wèn)題。

英語(yǔ)有 26 個(gè)字母，然而中文大約有 5000 個(gè)字符。如果你看一篇中等長(zhǎng)度英文的語(yǔ)料庫(kù)，出現(xiàn)的總是那么 26 個(gè)字母，而中文的語(yǔ)料庫(kù)中會(huì)有一些你只會(huì)見(jiàn)到一次的生僻字。所以你要如何學(xué)會(huì)認(rèn)識(shí)這些中文字符？

相比較而言，羅曼斯語(yǔ)言（由拉丁文演變而成）更加簡(jiǎn)單。從法語(yǔ)轉(zhuǎn)到英語(yǔ)也比從中文轉(zhuǎn)到英語(yǔ)要容易得多。

所以如果有一張圖片被標(biāo)注上了英文標(biāo)簽，如何才能將這些標(biāo)簽轉(zhuǎn)換成中文？

我認(rèn)為有很多方法都值得我們?nèi)L試，并且這些方法我們都還不曾進(jìn)行過(guò)探索。我們用的其中一種方式就是多任務(wù)學(xué)習(xí)的方法。假設(shè)說(shuō)你有一個(gè)可以識(shí)別被英語(yǔ)標(biāo)簽所標(biāo)注的圖像的人造神經(jīng)網(wǎng)絡(luò)，現(xiàn)在你要做的就是訓(xùn)練這個(gè)網(wǎng)絡(luò)，讓它可以識(shí)別中文標(biāo)簽，如果你能將這個(gè)神經(jīng)網(wǎng)絡(luò)訓(xùn)練成能同時(shí)完成中文和英文識(shí)別這兩件事，很有可能這個(gè)網(wǎng)絡(luò)會(huì)比單獨(dú)識(shí)別英語(yǔ)和中文的網(wǎng)絡(luò)要好得多。

這么做是有優(yōu)勢(shì)的，但是優(yōu)勢(shì)并不明顯。原因是這樣，機(jī)器可能會(huì)學(xué)習(xí)識(shí)別圖像中的邊，然后又學(xué)會(huì)了辨別圖像中的角。對(duì)于兩種語(yǔ)言來(lái)說(shuō)，這種知識(shí)都是通用的。一旦你學(xué)會(huì)了識(shí)別英語(yǔ)中的物體，這事實(shí)上對(duì)于你學(xué)習(xí)中文中的物體也有幫助，因?yàn)槟憧梢员鎰e這些邊和物體。

那些只存在于一種語(yǔ)言之中的詞又該怎么辦呢？

在英語(yǔ)里，無(wú)論是姐姐還是妹妹都只有一個(gè)單詞“sister”，但是在中文中，“姐姐”和“妹妹”是兩個(gè)不同意思的詞。事實(shí)上，當(dāng)你想要翻譯“sister”這個(gè)詞的時(shí)候就會(huì)遇到問(wèn)題，因?yàn)槟悴恢缿?yīng)該如何將它翻譯成中文，你不知道到底說(shuō)的是姐姐還是妹妹。不過(guò)我認(rèn)為如果機(jī)器知道你的 sister 和屋子里其他的物體是有區(qū)別的話，那再區(qū)別是姐姐或者是妹妹并不困難。如果你不知道“sister”的概念，就要從零學(xué)習(xí)“姐妹”的概念了。

隨著不斷地訓(xùn)練，投入也會(huì)越來(lái)越高昂，除非你的神經(jīng)網(wǎng)絡(luò)規(guī)模比較小了。

什么樣的神經(jīng)網(wǎng)絡(luò)才算是小型的？

這會(huì)隨著時(shí)間改變。我們一般是依照神經(jīng)網(wǎng)絡(luò)之間的連接數(shù)劃分。百度訓(xùn)練的神經(jīng)網(wǎng)絡(luò)的連接數(shù)量一般可以達(dá)到幾百億。

在語(yǔ)言識(shí)別上，百度會(huì)不會(huì)從一些特殊的音節(jié)或是字母組合入手，比如“th”？

過(guò)去的語(yǔ)音識(shí)別是這么做的——語(yǔ)音識(shí)別通常都有一個(gè)標(biāo)準(zhǔn)的管道，輸入音頻，并預(yù)計(jì)這些音節(jié)到底是什么。然后你再用另一套系統(tǒng)，把這些音節(jié)映射成文字。

不過(guò)近來(lái)人們一直在爭(zhēng)論一個(gè)問(wèn)題，那就是音節(jié)到底是語(yǔ)言的一個(gè)基本組成部分，還是語(yǔ)言學(xué)家空想出來(lái)的？我花了很多年試圖說(shuō)服人們，音節(jié)其實(shí)是人類構(gòu)造的，它不是語(yǔ)言的一個(gè)基本事實(shí)，只是人類發(fā)明出來(lái)對(duì)語(yǔ)言的一種描述方式而已。許多語(yǔ)言學(xué)家對(duì)此表示強(qiáng)烈的不滿，甚至公開(kāi)地表示了反對(duì)。

我們?cè)诎俣日Z(yǔ)音系統(tǒng)中并沒(méi)有用到音節(jié)的概念，這和小孩學(xué)習(xí)語(yǔ)言的過(guò)程十分相似：我們會(huì)給計(jì)算機(jī)播放一段音頻，告訴它文字的內(nèi)容，然后讓它自己建立映射。在說(shuō)英文的人看來(lái)，人們還不知道音節(jié)的概念是什么之前，就已經(jīng)會(huì)說(shuō)英語(yǔ)了。

那么電影呢？百度是否有關(guān)注這方面嗎？

深度學(xué)習(xí)在視頻方面有很多的成果，但是考慮到機(jī)器對(duì)于時(shí)間這個(gè)基本維度的認(rèn)識(shí)，我并不認(rèn)為它們很成功。所以深度學(xué)習(xí)的研究者們會(huì)常常爭(zhēng)論，時(shí)間這個(gè)維度對(duì)于我們的智能發(fā)展到底有多重要。

你看到了人工智能的潛在威脅了嗎？

我認(rèn)為關(guān)于“邪惡的機(jī)器人殺手”的擔(dān)憂是被夸大了。有智力和感知能力之間是有很大的區(qū)別。我們的軟件正變得越來(lái)越聰明，但是這并不意味著它即將變得具有感知能力。

via medium

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。