雷鋒網(wǎng) AI 科技評(píng)論按，2018 年已到尾聲，今年 AI 領(lǐng)域也取得了很多精彩的突破。人們對(duì) AI 的大肆宣揚(yáng)和恐慌逐漸冷卻，更多地關(guān)注到具體的問(wèn)題中。和往年不一樣的是，今年深度學(xué)習(xí)在很多非計(jì)算機(jī)視覺(jué)領(lǐng)域也取得了突破，尤其是在 NLP 領(lǐng)域。同時(shí)，今年在框架上的競(jìng)爭(zhēng)大大升溫，F(xiàn)acebook 發(fā)布的 Pytorch 1.0 勢(shì)頭強(qiáng)勁，直逼 Google 的 Tensor Flow，微軟也發(fā)布了 TextWorld 。按照慣例，Curai 的聯(lián)合創(chuàng)始人兼 CTO Xavier Amatriain 發(fā)布了一篇年度總結(jié)，雷鋒網(wǎng) AI 科技評(píng)論編譯整理如下：

對(duì)我來(lái)說(shuō)，在每年的這個(gè)時(shí)候總結(jié) ML 的進(jìn)展已經(jīng)成為一種傳統(tǒng)（例如，我去年就在 Quora 上回答過(guò)這個(gè)問(wèn)題）。一如既往，這個(gè)總結(jié)必然會(huì)偏向于我自己感興趣的領(lǐng)域。

如果要我把 2018 年機(jī)器學(xué)習(xí)進(jìn)展的主要亮點(diǎn)總結(jié)成幾個(gè)標(biāo)題，那就是：

• 對(duì) AI 的大肆宣揚(yáng)和恐慌逐漸冷卻；

• 更多地關(guān)注具體問(wèn)題，如公平性、可解釋性或因果性；

• 深度學(xué)習(xí)的研究將繼續(xù)，并且在實(shí)踐中不僅僅可以用來(lái)對(duì)圖像分類(lèi)（特別是對(duì) NLP 也非常有用）；

• AI 框架方面的競(jìng)爭(zhēng)正在升溫，如果你不想默默無(wú)聞，你最好發(fā)布一些自己的框架。

讓我們來(lái)看看具體是怎么樣的。

如果說(shuō) 2017 年對(duì)人工智能的大肆宣揚(yáng)和恐慌都達(dá)到了極點(diǎn)，那么 2018 年似乎就是我們開(kāi)始冷靜下來(lái)的一年。雖然有些人一直在散布他們對(duì)于人工智能的恐懼情緒，但與此同時(shí)，媒體和其他人似乎已經(jīng)同意這樣的觀點(diǎn)，即雖然自動(dòng)駕駛和類(lèi)似的技術(shù)正在向我們走來(lái)，但它們不會(huì)在明天發(fā)生。盡管如此，仍然有聲音認(rèn)為我們應(yīng)該規(guī)范人工智能，而不是集中于控制其結(jié)果。

不過(guò)，很高興地看到，今年的人們關(guān)注的重點(diǎn)似乎已經(jīng)轉(zhuǎn)移到了可以處理的更具體的問(wèn)題上。例如，關(guān)于公平性的討論很多，而且關(guān)于這個(gè)話題的會(huì)議不止 1 次（例如 FATML 和 ACM FAT），甚至還有一些在線課程也是關(guān)于這個(gè)話題的，比如 Google 教人們認(rèn)識(shí)機(jī)器學(xué)習(xí)中的公平性的課程。

順著這條思路，今年已經(jīng)深入討論的其他問(wèn)題有可解釋性、解釋性和因果性。因果關(guān)系似乎回到了聚光燈下，這源于 Judea Pearl 的《The Book of Why》的出版。作者不僅決定寫(xiě)他的第一本「普通人能夠讀懂」的書(shū)，而且他還利用 Twitter 來(lái)推廣關(guān)于因果關(guān)系的討論。事實(shí)上，甚至大眾媒體都認(rèn)為這是對(duì)現(xiàn)有 AI 方法的「挑戰(zhàn)」（例如，你可以看看《機(jī)器學(xué)習(xí)的先驅(qū)如何成為最尖銳的批評(píng)者之一》這篇文章。實(shí)際上，甚至 ACM Recsys 大會(huì)上的最佳論文獎(jiǎng)也授予了一篇相關(guān)論文，該論文討論了如何嵌入因果關(guān)系的問(wèn)題（參見(jiàn)《Causal Embeddings for Recommendations》）。盡管如此，許多作家認(rèn)為因果關(guān)系在某種程度上只是一種理論，我們應(yīng)該關(guān)注更具體的問(wèn)題。

Judea Pearl 的書(shū)

作為最通用的 AI 范例，深度學(xué)習(xí)仍然存在很多問(wèn)題，很顯然，深度學(xué)習(xí)不會(huì)止步于當(dāng)前，就它所能提供的東西而言，它還遠(yuǎn)遠(yuǎn)沒(méi)有達(dá)到高峰。更具體地說(shuō)，今年深度學(xué)習(xí)方法在從語(yǔ)言到醫(yī)療保健等不同于計(jì)算機(jī)視覺(jué)的領(lǐng)域取得了前所未有的成功。

事實(shí)上，今年深度學(xué)習(xí)最有趣的進(jìn)展可能出現(xiàn)在 NLP 領(lǐng)域。如果要我選出今年最令人印象深刻的 AI 應(yīng)用程序，它們都將是 NLP 應(yīng)用程序（并且都來(lái)自于 Google）。第一個(gè)是 Google 發(fā)布的超級(jí)有用的 smart compose，第二個(gè)是他們的 Duplex 對(duì)話系統(tǒng)。

使用語(yǔ)言模型的想法加速了這些進(jìn)步，這種想法在今年 Fast.ai 的 UMLFit 課程里面普及。隨后我們看到了其他改進(jìn)的方法，比如 Allen 的 ELMO，Open AI's transformers，或最近擊敗了很多 SOTA 的 Google 的 BERT。這些模型被描述為「Imagenet moment for NLP」，因?yàn)樗鼈兲峁┝穗S時(shí)可用的預(yù)訓(xùn)練好的通用的模型，這些模型還可以針對(duì)特定任務(wù)進(jìn)行微調(diào)。除了語(yǔ)言模型之外，還有許多其他有趣的進(jìn)步，比如 Facebook 的多語(yǔ)言嵌入。值得注意的是，我們還看到這些和其他方法被集成到更通用的 NLP 框架（比如 AllenNLP 或 Zalando） 的 FLAIR 中的速度非常快。

說(shuō)到框架，今年的「人工智能框架之戰(zhàn)」已經(jīng)升溫。令人驚訝的是，Pytorch 1.0 發(fā)布之初，它就似乎正在趕上 TensorFlow。雖然在生產(chǎn)中 PyTorch 的使用情況仍然不太理想，但它在可用性、文檔和教育方面的進(jìn)展速度似乎比 TensorFlow 要快。有趣的是，選擇 Pytorch 作為實(shí)現(xiàn) Fast.ai 庫(kù)的框架可能起到了很大的作用。也就是說(shuō)，Google 意識(shí)到了這一切，并且在框架中把 Keras 作為高級(jí)模塊。最終，我們都能夠接觸到這些偉大的資源，并從中受益。

pytorch 與 tensorflow 搜索趨勢(shì)

有趣的是，另一個(gè)在框架方面看到許多有趣的進(jìn)展的領(lǐng)域是增強(qiáng)學(xué)習(xí)。雖然我不認(rèn)為 RL 的研究進(jìn)展與前幾年一樣令人印象深刻（只有最近 DeepMind 的 Impala 浮現(xiàn)在腦海中），但是令人驚訝的是，在一年之內(nèi)，我們看到了所有主要的 AI 玩家都發(fā)布了 RL 框架。Google 發(fā)布了用于研究的 Dopamine 框架，而 Deepmind（隸屬于 Google）發(fā)布了有一定競(jìng)爭(zhēng)力的 TRFL 框架。Facebook 不甘落后，發(fā)布了 Horizon，微軟也發(fā)布了 TextWorld，而 TextWorld 在基于文本的訓(xùn)練上更加專(zhuān)業(yè)。希望所有這些開(kāi)源框架在能夠讓我們?cè)?2019 年看到 RL 的進(jìn)步。

我很高興看到最近 Google 在 Tensor Flow 上發(fā)布了 TFRank。Ranking 是一個(gè)非常重要的 ML 應(yīng)用程序，它可能應(yīng)該得到更多的重視。

在數(shù)據(jù)改善領(lǐng)域，也有非常有趣的進(jìn)展。例如，今年 Google 發(fā)布了 auto-augment，這是一種深度增強(qiáng)學(xué)習(xí)方法，用于自動(dòng)增強(qiáng)訓(xùn)練數(shù)據(jù)。一個(gè)更極端的想法是用合成數(shù)據(jù)訓(xùn)練 DL 模型。這種想法已經(jīng)被在實(shí)踐中嘗試了一段時(shí)間，并且被許多人視為 AI 未來(lái)的關(guān)鍵所在。NVidia 在他們的論文《Training Deep Learning with Synthetic Data》中提出了新穎的想法。在我們「Learning from the Experts」這篇文章中，我們還展示了如何使用專(zhuān)家系統(tǒng)生成合成數(shù)據(jù)，這些合成數(shù)據(jù)即使在與真實(shí)數(shù)據(jù)結(jié)合之后也能用于訓(xùn)練 DL 系統(tǒng)。

至于人工智能領(lǐng)域的更多基本突破，可能由于我個(gè)人偏好的原因，并沒(méi)有看到太多。我不完全同意 Hinton 的說(shuō)法，他認(rèn)為這個(gè)領(lǐng)域缺乏創(chuàng)新性是由于這個(gè)領(lǐng)域有「幾個(gè)老家伙和一大堆年輕人」，盡管科學(xué)界有一種趨勢(shì)，那就是在研究者會(huì)在晚年取得突破性進(jìn)展。在我看來(lái)，當(dāng)前缺乏突破的主要原因是，現(xiàn)有方法和它們的變體仍然有許多有趣的實(shí)際應(yīng)用，因此很難冒險(xiǎn)采用可能并不實(shí)用的方法。更重要的是，這個(gè)領(lǐng)域的大部分研究都是由大公司贊助的。有一篇有趣的論文《An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling》，雖然它高度依賴(lài)過(guò)去的經(jīng)驗(yàn)，并且使用了已知的方法，但是它打開(kāi)了發(fā)現(xiàn)新方法的大門(mén)，因?yàn)樗C明了通常被認(rèn)為是最優(yōu)的方法實(shí)際上并不是最優(yōu)的。顯然，我不同意 Bored Yann LeCun 的觀點(diǎn)，他認(rèn)為卷積網(wǎng)絡(luò)是最終的「主算法」，而 RNN 不是。即便是在序列建模領(lǐng)域，研究空間也很大！另一篇值得研究的論文是最近 NeurIPS 最佳論文「Neural Ordinary Differential Equations」，它挑戰(zhàn)了 DL 中的一些基本問(wèn)題，包括層本身的概念。

雷鋒網(wǎng)

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。