0
雷鋒網(wǎng) AI 科技評(píng)論按：2017年馬上就要過(guò)去了，而 AI 也在2017年中得到了快速發(fā)展。研究人員們提出了很多有趣而又富有開(kāi)創(chuàng)性的工作。而作為 AI 從業(yè)人員的我們，也不禁會(huì)對(duì)明年 AI 的發(fā)展有了更多的憧憬。這里，我們?yōu)榇蠹曳钌蠙C(jī)器學(xué)習(xí)學(xué)者 Alex Honcha 所展望的 2018 年最可能產(chǎn)生突破的 AI 領(lǐng)域。
下面是雷鋒網(wǎng)對(duì)原文的部分編譯。
大家好！2017年是機(jī)器學(xué)習(xí)世界中，最有成效和最有創(chuàng)意的一年。大家已經(jīng)可以看到許多的博客文章，甚至是官方報(bào)道，來(lái)總結(jié)研究和行業(yè)突破。我想分享一些不同的東西，通過(guò)三篇文章，從下面三個(gè)不同的視角分析 AI 方面明年會(huì)有什么進(jìn)展：
作為一個(gè)推動(dòng)行業(yè)發(fā)展的 AI 研究者（本文）
作為一個(gè)將機(jī)器學(xué)習(xí)應(yīng)用到工業(yè)界的開(kāi)發(fā)者
作為一個(gè)生活在新世界中的普通人
我在這篇文章中的預(yù)測(cè)，是基于 2012 年以來(lái)學(xué)術(shù)界和科技巨頭實(shí)驗(yàn)室的研究思路的演變。我選擇了一些處于初步發(fā)展階段的領(lǐng)域，但是它們已經(jīng)準(zhǔn)備充分，可以進(jìn)行深入研究并可能在 2018 年取得突破性進(jìn)展，并最終在 2019-2020 年真正地被應(yīng)用到現(xiàn)實(shí)中去。
來(lái)自其他科研領(lǐng)域?qū)Φ娜耸拷?jīng)常會(huì)有一個(gè)問(wèn)題：那些AI的家伙研究的怎么這么快？
首先，大多數(shù)機(jī)器學(xué)習(xí)領(lǐng)域的文章并不會(huì)在期刊上發(fā)表，而是發(fā)表在會(huì)議上，同時(shí)還有即時(shí)的 arXiv 預(yù)印本，所以研究者可以隨時(shí)看到最新的研究成果，而不是等到發(fā)出文章之后的好幾個(gè)月。
其次，我們不發(fā)布「順勢(shì)」的文章：為了使得文章能夠發(fā)表，我們必須提出最高水平的或者能夠與目前最高水平方法相近的新方法。另外，新方法需要在不同的指標(biāo)下接受檢驗(yàn)：速度，準(zhǔn)確度，并行執(zhí)行，數(shù)學(xué)證明，處理不同大小的數(shù)據(jù)集等。這使得方法的泛化能力大大提升。
最后，所有的主要文章都開(kāi)源了算法的實(shí)現(xiàn)，所以結(jié)果可以被其他人運(yùn)行，進(jìn)行多重檢驗(yàn)，甚至可以進(jìn)一步改進(jìn)。
現(xiàn)代 AI 研究最酷的一件事是以「博客」的形式發(fā)表文章，我們可以在 DeepMind、OpenAI、Salesforce、IBM 的博客中看到他們的最新進(jìn)展，研究結(jié)果以清晰易懂的方式展示出來(lái)，所以即使是遠(yuǎn)離科研的人也能夠很容易理解這些很「酷」的技術(shù)。我個(gè)人很喜歡的 Distill pub 就是一個(gè)很好的例子。
這些都是真正的科研期刊，但是文章看起來(lái)更像是帶插畫(huà)的博客。當(dāng)然，想要寫(xiě)好這種文章需要大量的工作，但是只有這種形式的才能吸引到更多的人。一般情況下，這些文章可以將結(jié)果同時(shí)展示給：研究人員，開(kāi)發(fā)者，以及投資者。這種結(jié)果展示方式無(wú)疑更加高效，我相信在接下來(lái)的幾年中，有越來(lái)越多的研究成果會(huì)以這種方式呈現(xiàn)。
我們考慮這樣一個(gè)簡(jiǎn)單的問(wèn)題：
取 50 本阿拉伯語(yǔ)書(shū)，16 本德語(yǔ)書(shū)，以及 7 本烏克蘭語(yǔ)書(shū)，要求你學(xué)會(huì)將阿拉伯語(yǔ)翻譯到到烏克蘭語(yǔ)，以及將烏克蘭語(yǔ)翻譯到德語(yǔ)。
你能夠做到嗎？我打賭不能。但是機(jī)器已經(jīng)做到了這點(diǎn)！在 2017 年，兩個(gè)突破性的文章被發(fā)表：「Unsupervised Machine Translation Using Monolingual Corpora Only」，「Unsupervised Neural Machine Translation」。機(jī)器翻譯基本的想法是將意思相似的句子放在一起，訓(xùn)練一些通用人類語(yǔ)言表達(dá)空間。這種想法并不新鮮，但是目前最新的方法已經(jīng)不需要明確的成對(duì)的德語(yǔ)-阿拉伯語(yǔ)句子了。
一種多語(yǔ)言表示空間的示例
這幾篇文章的作者聲稱，只要很少的監(jiān)督，模型翻譯的質(zhì)量就可以急速上升。我預(yù)計(jì)這項(xiàng)研究會(huì)在2018年夏天至年底完成。這種監(jiān)督，而又不是真正監(jiān)督學(xué)習(xí)的思想，將會(huì)而且一定會(huì)拓展到其他領(lǐng)域。
我們已經(jīng)創(chuàng)造出了能夠超越人類的計(jì)算機(jī)視覺(jué)系統(tǒng)，這多虧了各種更深，更寬，以及更密集連接的網(wǎng)絡(luò)。
物體檢測(cè)準(zhǔn)確度變化 來(lái)自 http://aiindex.org/2017-report.pdf
但是目前的成果僅限于靜態(tài)圖像，然而現(xiàn)實(shí)中人類更習(xí)慣于用眼睛觀察圖像序列、視頻或者就是真實(shí)的世界，所以我們需要將計(jì)算機(jī)視覺(jué)方法應(yīng)用到視頻中，并使得它們能夠像處理靜態(tài)圖像那樣快。
然而，說(shuō)實(shí)話，在靜態(tài)圖像上檢測(cè) 1000 個(gè)物體會(huì)變得非常無(wú)聊，而且一點(diǎn)也不 sexy。
在最近的 NIPS 2017 中出版了一些關(guān)于下一幀預(yù)測(cè)和視頻表征學(xué)習(xí)的有趣的結(jié)果。下面提供了一些大家可以嘗試使用和研究的幾個(gè)模型：改進(jìn)的注意力模型、在視頻中使用光流概念（optical flow）、使用循環(huán)結(jié)構(gòu)以高效處理大視頻。
https://research.google.com/youtube8m/
在我們觀察周圍的世界的時(shí)候，我們不僅僅看到了移動(dòng)的圖像：還聽(tīng)到了聲音，感受到外面的溫度，還能感受到一些情緒。這意味著我們從不同的來(lái)源「看到」了我們周圍的世界，我們稱這種源為模態(tài)。而且，即使只“看到”一種模態(tài)，比如聽(tīng)到了一段人說(shuō)話的聲音，我們不僅僅是把它像語(yǔ)音識(shí)別系統(tǒng)一樣翻譯成文字，我們也能懂得說(shuō)話人的性別和年齡，以及交談的人的情緒。我們能夠同時(shí)理解不同的事物。我們希望機(jī)器也能具有這樣的能力。
人類能夠從一張圖片中得到幾百個(gè)結(jié)論，為什么機(jī)器不行呢？
目前并沒(méi)有很多用于解決多任務(wù)問(wèn)題的數(shù)據(jù)集，但是牛津大學(xué)最近提出了多模態(tài)圖像識(shí)別的數(shù)據(jù)集和挑戰(zhàn)賽。我預(yù)計(jì)明年會(huì)有更多的數(shù)據(jù)集和結(jié)果出現(xiàn)在語(yǔ)音的應(yīng)用中（比如：年齡，情緒）：
http://www.robots.ox.ac.uk/~vgg/decathlon/
人類能夠處理超過(guò)十個(gè)模態(tài)，為什么機(jī)器不能？
在我決定將多模態(tài)學(xué)習(xí)加入到這篇文章之前，本來(lái)想寫(xiě)人工智能在金融方面的應(yīng)用，但是當(dāng)我看到下面這個(gè)數(shù)據(jù)集發(fā)布之后，我就知道金融交易就再也沒(méi)有機(jī)會(huì)加入到這篇文章中了。這個(gè) HoME 數(shù)據(jù)集包含了很令人震驚的環(huán)境， 它包含了視覺(jué)，語(yǔ)音，語(yǔ)義，物理，以及與其他物體交互等多種數(shù)據(jù)。你可以教機(jī)器人在一個(gè)幾乎真實(shí)的房間中去看，去感覺(jué)，去聽(tīng)每一個(gè)東西！
https://home-platform.github.io/
我們可以將所有模態(tài)放在一起處理嗎？
你是否也好奇，我們能否構(gòu)建一個(gè)超級(jí)多模態(tài)-多任務(wù)模型，它可以根據(jù)完全不同的輸入解決完全不同的任務(wù)？Google研究院就做到了，它們構(gòu)建了一個(gè)可以將圖像和文本作為輸入的體系結(jié)構(gòu)，并用單個(gè)神經(jīng)網(wǎng)絡(luò)解決圖像識(shí)別，分割，文本翻譯，解析等問(wèn)題。我認(rèn)為這不是解決這類任務(wù)的最聰明的辦法，但是是一個(gè)好的開(kāi)始！
強(qiáng)化學(xué)習(xí)對(duì)我來(lái)說(shuō)是最激動(dòng)人心和最令人懷疑的領(lǐng)域之一：它可以在沒(méi)有任何監(jiān)督的情況下，通過(guò)自我博弈取得象棋，圍棋和撲克這樣復(fù)雜游戲的勝利，但是與此同時(shí)，強(qiáng)化學(xué)習(xí)幾乎沒(méi)有任何在真實(shí)世界中的應(yīng)用，比如能夠在人工環(huán)境中攀爬的3D玩具人物，或者可以移動(dòng)的機(jī)械臂。這也是為什么我認(rèn)為關(guān)于強(qiáng)化學(xué)習(xí)的研究在明年仍需要繼續(xù)。我認(rèn)為會(huì)發(fā)生兩個(gè)主要的突破：OpenAI 的 Dota 2（已經(jīng) 1v 1打敗過(guò)職業(yè)選手），以及 DeepMind 的星際爭(zhēng)霸2。
我非常確定 DotA 和星際爭(zhēng)霸的冠軍未來(lái)會(huì)被 OpenAI 以及 DeepMind 的機(jī)器人擊敗?，F(xiàn)在你已經(jīng)可以使用 OpenAI 的實(shí)驗(yàn)環(huán)境玩星際爭(zhēng)霸2了。
對(duì)于那些不喜歡玩游戲的研究者，OpenAI 也有一些有趣的結(jié)果：競(jìng)爭(zhēng)性自我博弈，從其他模型中學(xué)習(xí)，學(xué)習(xí)交流與合作，當(dāng)然，還有 Facebook 的學(xué)習(xí)談判。我希望能夠在未來(lái)的一到兩年中在聊天機(jī)器人中看到這些結(jié)果，但是目前為止，還有很多研究要做。
Facebook 談判機(jī)器人
使用神經(jīng)網(wǎng)絡(luò)很酷，你可以使用不同層數(shù)的神經(jīng)網(wǎng)絡(luò)，不同密度的連接在 ImageNet 上得到 0.05 的提升，甚至可以應(yīng)用在醫(yī)療放射圖像的分析上，但是如果它們甚至不能自我解釋，我們真的可以依靠它們嗎？
我想知道，為什么這個(gè)網(wǎng)絡(luò)認(rèn)為這個(gè)圖像是狗，為什么認(rèn)為這個(gè)人在微笑，或者為什么說(shuō)我有一些疾病。
然而，即使神經(jīng)網(wǎng)絡(luò)能夠給出非常準(zhǔn)確的結(jié)果，但是它并不能給出上面問(wèn)題的答案：
AI的解釋問(wèn)題仍然被考慮為一個(gè)開(kāi)放問(wèn)題，盡管我們已經(jīng)有了一些成功的應(yīng)用，例如：從深度神經(jīng)網(wǎng)絡(luò)提取基于樹(shù)的規(guī)則（extraction of tree-based rules from deep networks），卷積層的可視化，以及更復(fù)雜的概念，例如隱含概念（latent conception），與或圖訓(xùn)練，或者生成視覺(jué)解釋：
圖片來(lái)自 https://arxiv.org/pdf/1603.08507.pdf
以及目前最好的模型：InterpretNet：
圖片來(lái)自 https://arxiv.org/pdf/1710.09511.pdf
我們也應(yīng)該更多考慮貝葉斯方法，它能夠跟蹤預(yù)測(cè)的確定性。這一定是明年機(jī)器學(xué)習(xí)的一個(gè)熱門(mén)話題。
在 AI 解釋性之后，要解決的第二個(gè)重要任務(wù)就是現(xiàn)代機(jī)器學(xué)習(xí)算法的脆弱性，它很容易被對(duì)抗性樣本攻擊。
https://blog.openai.com/adversarial-example-research/
對(duì)于這些問(wèn)題，Ian Goodfellow做出了名為 CleverHans 的原創(chuàng)性工作。以及數(shù)據(jù)的隱私和基于加密數(shù)據(jù)進(jìn)行訓(xùn)練的問(wèn)題，可以查看來(lái)自牛津博士的精彩文章，它展示了一個(gè)簡(jiǎn)單的同態(tài)加密神經(jīng)網(wǎng)絡(luò)的例子。
我們需要保護(hù) AI 的輸入（隱私數(shù)據(jù)），內(nèi)部結(jié)構(gòu)（以防被攻擊），以及它所學(xué)到的東西（確保它的行動(dòng)的安全性）
然而這些并不是今天人工智能的所有問(wèn)題，從數(shù)學(xué)角度來(lái)看（特別是在強(qiáng)化學(xué)習(xí)中），算法仍然不能安全的探索環(huán)境，這意味著如果我們現(xiàn)在讓物理機(jī)器人自由地探索世界，它們?cè)谟?xùn)練過(guò)程無(wú)法完全避免錯(cuò)誤或者做出不安全的行為；同時(shí)我們?nèi)匀徊荒芡耆刮覀兊哪Ｐ瓦m應(yīng)新的分布，模型的泛化能力是一個(gè)重要問(wèn)題，比如基于真實(shí)世界數(shù)據(jù)集訓(xùn)練的網(wǎng)絡(luò)很難識(shí)別手繪的物體；以及許多其他問(wèn)題，你可以在下面的文章中查看:
https://blog.openai.com/concrete-ai-safety-problems/
DeepMind : Specifying AI Safety Problems（雷鋒網(wǎng) AI 科技評(píng)論）
我本人是最優(yōu)化理論的忠實(shí)粉絲，我認(rèn)為 2017 年最優(yōu)化方法最好的綜述是由 Sebastian Ruder 撰寫(xiě)的：http://ruder.io/deep-learning-optimization-2017/。
在這里，我想回顧一下改善一般的SGD+反向傳播的幾種方法：
合成梯度（synthetic gradient）和其他方法避免復(fù)雜的鏈?zhǔn)揭?guī)則通過(guò)深度網(wǎng)絡(luò)。
用于強(qiáng)化學(xué)習(xí)的演化算法（Evolutionary algorithm），使用不可微的損失函數(shù)，避免可能的局部最小值
改進(jìn)SGD，更好的學(xué)習(xí)率和batch size規(guī)劃
學(xué)習(xí)優(yōu)化，把最優(yōu)化問(wèn)題本身當(dāng)作一個(gè)學(xué)習(xí)問(wèn)題看待。
不同空間優(yōu)化，如果在Sobolev空間訓(xùn)練我們的網(wǎng)絡(luò)會(huì)怎么樣？
圖片來(lái)自 http://bair.berkeley.edu/blog/2017/09/12/learning-to-optimize-with-rl/
我相信，通過(guò)演化算法解決不可微函數(shù)的優(yōu)化問(wèn)題，強(qiáng)化學(xué)習(xí)，以及學(xué)習(xí)優(yōu)化技術(shù)，將幫助我們更有效的訓(xùn)練AI模型。
在 NIPS 上出現(xiàn)這篇演講之前，我并沒(méi)有真正意識(shí)到這個(gè)課題。當(dāng)然，我知道現(xiàn)實(shí)世界的數(shù)據(jù)通常位于更高維度的空間，并且數(shù)據(jù)和信息本身?yè)碛凶约旱膸缀魏屯負(fù)浣Y(jié)構(gòu)。三維物體可以被認(rèn)為是點(diǎn)云，但實(shí)際上他是一個(gè)表面（流形manifold），一個(gè)具有自己的局部和全局?jǐn)?shù)學(xué)（微分幾何）的形狀。或者考慮圖（graph），你可以用一些鄰接矩陣的形式來(lái)描述它們，但是你會(huì)丟掉一些局部結(jié)構(gòu)或者一些圖形。其他的多為對(duì)象，例如圖像，聲音，文本也可以從幾何角度考慮。我相信我們會(huì)從這個(gè)領(lǐng)域中的研究得到許多有趣的見(jiàn)解。
所有數(shù)據(jù)都具有我們無(wú)法避免的局部和全局幾何信息
可以在這個(gè)鏈接中找到更多的信息：
http://geometricdeeplearning.com/
除了以上討論的內(nèi)容，我們還可以談?wù)撝R(shí)表示、遷移學(xué)習(xí)、單次學(xué)習(xí)、貝葉斯學(xué)習(xí)、可微計(jì)算等等方面，但是實(shí)際上，這些領(lǐng)域還沒(méi)有做好充分的準(zhǔn)備，并不能在 2018 年發(fā)展到一個(gè)全新的階段。在貝葉斯學(xué)習(xí)中，我們陷入了數(shù)學(xué)抽樣中；微分計(jì)算很酷，但是神經(jīng)圖靈機(jī)、DeepMind 的微分神經(jīng)計(jì)算機(jī)仍然遙遙無(wú)期；表征學(xué)習(xí)已經(jīng)是深度學(xué)習(xí)算法的核心，所以并不值得去寫(xiě)；單次（one-shot）和少次（few-shot）學(xué)習(xí)同樣還沒(méi)有發(fā)展起來(lái)，也沒(méi)有很好定義的評(píng)價(jià)標(biāo)準(zhǔn)以及數(shù)據(jù)集。我希望本文中提到的各個(gè)主題能夠在逐步成熟，并在2019-2020年更多的應(yīng)用到實(shí)際世界中。
除此之外，下面是一些希望大家能夠關(guān)注的網(wǎng)站，它們能夠提供很多最新的研究進(jìn)展：
OpenAI、DeepMind、IBM AI Research、Berkley AI、Stanford ML Group、Facebook Research、Google Research （為了方便國(guó)內(nèi)愛(ài)好者閱讀，雷鋒網(wǎng) AI 科技評(píng)論也會(huì)第一時(shí)間編譯其中的精彩文章）
via AI in 2018 for researchers，更多人工智能深入報(bào)道請(qǐng)繼續(xù)關(guān)注我們
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
