如果說去年是 AI 技術(shù)爭相試水落地的一年，那今年則更多地是回歸 AI 技術(shù)本身進(jìn)行反思和探索的一年。

這一年，「深度學(xué)習(xí)是否將迎來寒冬」、「AI 該如何實(shí)現(xiàn)可解釋性」等議題頻頻成為 AI 社區(qū)的「座上賓」。

這一年，AI 界開始呼吁從深度學(xué)習(xí)以外的方法上找新的突破口，例如說結(jié)合推理等傳統(tǒng) AI 方法、基礎(chǔ)數(shù)學(xué)以及類腦等其他跨學(xué)科的方法。

這一年，「多模態(tài)」成為 AI 界的一個(gè)熱門研究方向，做 CV 的研究者開始關(guān)注 NLP，而做 NLP 的研究者開始在研究中引入 CV，多個(gè)研究領(lǐng)域走向融合已然勢不可擋。

今天是 2019 年的最后一天，AI 科技評論挑選了今年 AI 學(xué)術(shù)界最值得回顧的十大語錄，以期大家能夠從中獲得些許的啟發(fā)，為明天即將到來的又一年的新征程做好準(zhǔn)備！

1

推理、抽象推導(dǎo)這些人類最后才學(xué)會(huì)做的事情，也將會(huì)是神經(jīng)網(wǎng)絡(luò)最難學(xué)會(huì)的事情。

——Geoffery Hinton，《和 Geoffery Hinton 面對面聊聊》

如果把人類和神經(jīng)網(wǎng)絡(luò)相比，那么神經(jīng)網(wǎng)絡(luò)發(fā)展至今，在視覺信號處理、語音信號處理這些人類的感知任務(wù)上確實(shí)取得了很大進(jìn)展，但運(yùn)動(dòng)控制方面的表現(xiàn)就沒那么好，現(xiàn)在的最先進(jìn)的神經(jīng)網(wǎng)絡(luò)才剛剛能追趕上傳統(tǒng)的控制方法，更別提和人類相比了，人類的運(yùn)動(dòng)控制能力非常高，也非常輕松，很顯然我們的大腦就是為運(yùn)動(dòng)控制設(shè)計(jì)的。

神經(jīng)網(wǎng)絡(luò)最終有一天是能夠趕超人類的，不過現(xiàn)在只取得了很小的勝利而已。并且，推理、抽象推導(dǎo)這些人類最后才學(xué)會(huì)做的事情，也將會(huì)是神經(jīng)網(wǎng)絡(luò)最難學(xué)會(huì)的事情。

2

作為一個(gè)科學(xué)家，對我來說真正重要的是還需要探索哪些新方向才能解決問題。誰對誰錯(cuò)、誰站了誰的隊(duì)這種事情我并不關(guān)心。

——Yoshua Bengio，《深度學(xué)習(xí)瓶頸到來時(shí)，Yoshua Bengio 有什么新打算》

很多面向大眾的信息渠道都不理解學(xué)術(shù)人員做科研的方式，不管是針對 AI 領(lǐng)域還是其他學(xué)科，而實(shí)際上，他們研究和理解當(dāng)前的理論和方法的不足之處，是為了能探索智力工具之外的更大的空間。

直到今天，AI 系統(tǒng)能達(dá)到的智慧程度都沒法和一個(gè) 2 歲的小孩相提并論。不過，我們的算法在感知任務(wù)里可能能達(dá)到一些更低級的動(dòng)物的水平，并且現(xiàn)在也有越來越多的工具可以幫助一個(gè)系統(tǒng)探索它所在的環(huán)境，所以這些系統(tǒng)的智力水平也在慢慢地逐步提升。

Bengio 認(rèn)為，未來可以嘗試在過去這些年設(shè)計(jì)的深度學(xué)習(xí)工具的基礎(chǔ)上實(shí)現(xiàn)推理、規(guī)劃、想象力、歸因這些功能，以此實(shí)現(xiàn) AI 系統(tǒng)高層次的認(rèn)知。

3

大家不能指望人工智能一出來就「畢其功于一役」。它永遠(yuǎn)在路上，這就是人工智能的魅力所在。

——張鈸，《張鈸院士：人工智能的魅力就是它永遠(yuǎn)在路上》

人工智能的第一代模型，可解釋、魯棒性很強(qiáng)，然而也有很大局限性，即很難準(zhǔn)確表達(dá)人類的知識(shí)經(jīng)驗(yàn)，這也是產(chǎn)生的后來人工智能冬天的根本原因。

到了第二代人工智能，一個(gè)最重要的成果就是深度學(xué)習(xí)。然而深度學(xué)習(xí)并非 AI 的通用機(jī)，需要滿足具有豐富的數(shù)據(jù)或知識(shí)，完全信息，確定性信息，靜態(tài)，單領(lǐng)域和單任務(wù)這五個(gè)條件，距離真正的人工智能還有很遠(yuǎn)的距離。

因此下一步就要邁向第三代人工智能，針對第一、二代人工智能的兩個(gè)主要的局限性，建立可解釋、魯棒的人工智能理論，發(fā)展安全、可信、可用的人工智能技術(shù)，促進(jìn)人工智能的創(chuàng)新應(yīng)用。

4

曾經(jīng)我們認(rèn)為深度學(xué)習(xí)是一個(gè)「小黑屋」，里面只有深度神經(jīng)網(wǎng)絡(luò)?，F(xiàn)在我們打開門，發(fā)現(xiàn)了里面有深度森林，也許未來還能發(fā)現(xiàn)更多別的東西。

——周志華，《周志華 IJCAI2019 演講：「深」為什么重要，以及還有什么深的網(wǎng)絡(luò)》

雖然在今天深度神經(jīng)網(wǎng)絡(luò)已經(jīng)這么的流行、這么的成功，但是其實(shí)我們可以看到在很多的任務(wù)上，性能最好的不見得完全是深度神經(jīng)網(wǎng)絡(luò)，并且已經(jīng)有數(shù)學(xué)證明，一個(gè)模型不可能在所有任務(wù)中都得到最好的表現(xiàn)。所以我們有必要探索神經(jīng)網(wǎng)絡(luò)之外的深度模型。

深度森林便是其中的一個(gè)方向。雖然目前我們還不知道深度森林可以發(fā)展到什么程度，因?yàn)槲覀冞€構(gòu)建不出非常深的模型，但即便未來我們構(gòu)建出很深的模型了、而且發(fā)現(xiàn)它的表現(xiàn)沒有我們預(yù)想的那么好，我們的研究也仍然是有價(jià)值的。

因?yàn)樯疃壬值臉?gòu)建過程為這幾個(gè)猜測提供了證據(jù)：當(dāng)你用一個(gè)模型就可以做到逐層信號處理、特征變換、足夠的模型復(fù)雜度的時(shí)候，你就可以享受到深度模型的好處。這也就是深度森林比之前的各種森林都有更好的表現(xiàn)的原因。它也帶給我們新的啟示：我們是否有可能設(shè)計(jì)出同時(shí)兼顧到這幾點(diǎn)的新的模型？

5

從本質(zhì)上來看，人工智能、知識(shí)工程以及數(shù)學(xué)在解決問題時(shí)所使用的基本方法論其實(shí)是具有統(tǒng)一性的。

——徐宗本，《徐宗本院士：數(shù)學(xué)與 AI 的關(guān)系是「融通共進(jìn)」》

在欣喜人工智能變成可用技術(shù)的同時(shí)，我們必須冷靜地看到，目前我們還處于一個(gè)「用多少人工換來多少智能」的人工智能階段，距離人工智能的真正產(chǎn)業(yè)化，真正能把人工智能技術(shù)用得明白、也用得好，仍然還有很長一段路要走。

對于人工智能未來的發(fā)展方向，徐宗本表示，我們不妨以實(shí)現(xiàn)共產(chǎn)主義來做類比：人工智能的共產(chǎn)主義目標(biāo)是自主智能，而在實(shí)現(xiàn)共產(chǎn)主義之前我們必須先走過社會(huì)主義初級階段——機(jī)器學(xué)習(xí)自動(dòng)化便是社會(huì)主義初級階段目標(biāo)。所以說，人工智能的發(fā)展軌跡應(yīng)該是從人工走向自動(dòng)化，再邁向自主智能。

要想真正實(shí)現(xiàn)機(jī)器的自動(dòng)化，必須首先解決五個(gè)數(shù)學(xué)領(lǐng)域的基礎(chǔ)問題：大數(shù)據(jù)的統(tǒng)計(jì)學(xué)基礎(chǔ)、大數(shù)據(jù)計(jì)算基礎(chǔ)算法、深度學(xué)習(xí)的數(shù)學(xué)原理、非常規(guī)約束下的輸運(yùn)問題以及學(xué)習(xí)方法論的建模與函數(shù)空間上的學(xué)習(xí)理論。

6

未來，深度學(xué)習(xí)和語言學(xué)研究應(yīng)該互相幫助，多模態(tài)信息處理也大有可為。

——周明，《周明：自然語言處理的未來之路 》

基于深度學(xué)習(xí)的 NLP 技術(shù)已經(jīng)走過了詞嵌入、句子嵌入、帶有注意力的編解碼器模型、Transformer（完全使用注意力）的這四個(gè)技術(shù)節(jié)點(diǎn)，預(yù)訓(xùn)練模型+針對具體任務(wù)的精細(xì)調(diào)節(jié)也已經(jīng)成為了當(dāng)前 NLP 實(shí)踐的新范式。

這種新范式也給我們帶來了一個(gè)新的啟發(fā)：我們可以針對大規(guī)模的語料，提前訓(xùn)練好一個(gè)模型，這個(gè)模型既代表了語言的結(jié)構(gòu)信息，也有可能代表了所在領(lǐng)域甚至常識(shí)的信息，只不過我們看不懂。加上我們未來的預(yù)定的任務(wù)，這個(gè)任務(wù)只有很小的訓(xùn)練樣本，把通過大訓(xùn)練樣本得到的預(yù)訓(xùn)練模型，做到小訓(xùn)練樣本上，效果就得到了非常好的提升。

不過，未來的 NLP 不會(huì)只是基于規(guī)則的模型，同樣不會(huì)只是基于 DNN 的模型；它應(yīng)當(dāng)是可解釋的、有知識(shí)的、有道德的、有經(jīng)濟(jì)效益的、終生學(xué)習(xí)的模型。未來，深度學(xué)習(xí)和語言學(xué)研究應(yīng)該互相幫助，多模態(tài)信息處理也大有可為。

7

什么是真正的智能？我想目前還沒有定論，而且我們對我們自己的智能還沒有足夠的了解。

——張正友，《騰訊 AI Lab & Robotics X 主任張正友博士：計(jì)算機(jī)視覺的三生三世》

實(shí)際上，現(xiàn)在的人工智能都還只是機(jī)器學(xué)習(xí)：從大量的標(biāo)注數(shù)據(jù)去學(xué)習(xí)一個(gè)映射。

那什么是真正的智能？正如瑞士認(rèn)知科學(xué)家 Jean Piaget 說的，智能是當(dāng)你不知道如何做的時(shí)候你用的東西。也就是說，當(dāng)你無法用你學(xué)到的東西或天賦去面對時(shí)，你動(dòng)用的東西就是智能。

如何去實(shí)現(xiàn)有智能的系統(tǒng)呢？張正友表示：可能有很多條路，但他認(rèn)為一條很重要的路是需要把載體考慮進(jìn)去，做有載體的智能，也就是機(jī)器人。

基于此，他還提出了 A2G 理論：A 是 AI，即機(jī)器人必須能看能聽能說能思考，B 是 Body 本體，C 是 Control 控制，ABC 組成了機(jī)器人的基礎(chǔ)能力；D 是 Developmental Learning，發(fā)育學(xué)習(xí)，E 是 EQ，情感理解、擬人化，F(xiàn) 是 Flexible Manipulation，靈活操控；最后要達(dá)到 G，G 是 Guardian Angel，守護(hù)天使。

8

現(xiàn)階段 AI 研究的「以任務(wù)表現(xiàn)為中心」的研究思路其實(shí)才是我們走向通用人工智能的瓶頸。

——Keras 庫作者 Fran?ois Chollet，《測量「智慧」的正確姿勢可能是？》

研究人員以及普通大眾對 AI 技術(shù)的認(rèn)知里的所有錯(cuò)誤的部分，基本上都可以把原因歸結(jié)為過度的擬人化。但 AI 很狡猾，人類設(shè)計(jì) AI 、訓(xùn)練 AI 想讓它模仿哪一兩個(gè)人類技能，它就會(huì)完完全全地只模仿這一兩個(gè)技能，而完全學(xué)不到其它的（即便看起來很相關(guān)）的技能。

在這個(gè)過程里，AI 還會(huì)嘗試走所有有可能的捷徑、發(fā)掘各種能帶來提升的小竅門甚至環(huán)境中的 bug，而不會(huì)主動(dòng)遵循人類本來規(guī)劃的「正道」，最終得到的系統(tǒng)也就和人類的思維沒有任何共通之處。

可以說，現(xiàn)階段 AI 研究的「以任務(wù)表現(xiàn)為中心」的研究思路其實(shí)才是我們走向通用人工智能的瓶頸，而實(shí)際上 AI 研究應(yīng)該應(yīng)該走另一條路線，即 Hernandez-Orallo 路線：「AI 是這樣一門科學(xué)和工程學(xué)，它造出的機(jī)器能完成從來沒有見過、從來沒有提前準(zhǔn)備過的任務(wù)」。

不僅如此，要了解一個(gè)系統(tǒng)的智慧水平，應(yīng)當(dāng)測量它在一系列不同任務(wù)中表現(xiàn)出的獲得新能力的效率；這和先驗(yàn)、經(jīng)驗(yàn)、泛化難度都相關(guān)。

9

我不認(rèn)為我們需要等到一個(gè)完全發(fā)展好，再去發(fā)展另一個(gè)或去發(fā)展它們的結(jié)合，因?yàn)槟銜?huì)發(fā)現(xiàn)你永遠(yuǎn)不可能達(dá)到一個(gè)頂峰。

——CVPR 2019 最佳學(xué)生論文一作王鑫，《多模態(tài)和多語言視覺研究走到哪里了？專訪王威廉組王鑫》

視覺和語言結(jié)研究其實(shí)很早就出現(xiàn)了，在深度學(xué)習(xí)時(shí)代之前就有人在研究，只不過在深度學(xué)習(xí)出現(xiàn)之后，大概 2014、15 年，大家才開始往這個(gè)研究方向著力。

因?yàn)槲覀兪巧钤谝粋€(gè)多模態(tài)的世界，作為人類我們不是只用眼去看，還需要通過語言進(jìn)行交流表達(dá)，甚至去記錄一些東西；而且語言本身也是基于我們所看到的才發(fā)展起來。

所以歸根結(jié)底，把兩件事分開研究是一種選擇，但最終我們要做的科研是肯定是要把 CV 和 NLP、甚至其他的模態(tài)都結(jié)合在一起的。而且我不認(rèn)為我們需要等到一個(gè)完全發(fā)展好，再去發(fā)展另一個(gè)或去發(fā)展它們的結(jié)合，因?yàn)槟銜?huì)發(fā)現(xiàn)你永遠(yuǎn)不可能達(dá)到一個(gè)頂峰。

10

技術(shù)有好的一面也有壞的一面，就像火，可以保暖、可以烹飪食物，也可以燒死別人。

——Jürgen Schmidhuber，《「LSTM 之父」Jürgen Schmidhuber 訪談：暢想人類和 AI 共處的世界》

幾十年以前，當(dāng)工業(yè)機(jī)器人剛剛出現(xiàn)的時(shí)候，就有人說機(jī)器人會(huì)把所有人類的工作都代替了。然而結(jié)果，這些有很多機(jī)器人的國家在并沒有提高失業(yè)率的情況下反而獲得了更多的資本，因?yàn)槌霈F(xiàn)了很多當(dāng)時(shí)的人們預(yù)計(jì)不到的新職業(yè)。

現(xiàn)在也是如此，隨著 AI 在中國以及全球得到更多的使用，工作的數(shù)量只會(huì)增加，而不會(huì)減少，失業(yè)率也會(huì)大致保持不變——因?yàn)樾碌墓ぷ鲿?huì)出現(xiàn)。

技術(shù)有好的一面也有壞的一面，就像火，可以保暖、可以烹飪食物，也可以燒死別人；甚至有一點(diǎn)和 AI 一樣，如果人類不做什么干預(yù)的話就會(huì)廣泛傳播開來。不過，人們發(fā)現(xiàn)火帶來的好處要比麻煩多多了，所以人們一直在提升改進(jìn)使用火的技術(shù)。

這樣人類才一直走到了今天。    雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)

最后，AI 科技評論全體成員預(yù)祝大家在新的一年中，發(fā)更多的 Paper！出更多的工作成果！  

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。