0
雷鋒網(wǎng) AI 科技評論按：隨著深度學(xué)習(xí)的流行，可以說整個(gè)機(jī)器學(xué)習(xí)領(lǐng)域在 2010 年代迎來了爆發(fā)式的增長，科研人員、學(xué)生、論文數(shù)量、商業(yè)應(yīng)用、投資金額都是。不過，整個(gè)機(jī)器學(xué)習(xí)生態(tài)仍然面臨著數(shù)據(jù)收集、系統(tǒng)魯棒性、能源消耗、深度學(xué)習(xí)理論不清晰等等問題。
2020 年已經(jīng)來了，在這一年中，機(jī)器學(xué)習(xí)領(lǐng)域的知名學(xué)者們都有什么期待呢？吳恩達(dá)的 DeepLearning.ai 和《The Batch》雜志一起詢問了包括 Yann LeCun、李開復(fù)、David Patterson、周志華在內(nèi)的多位學(xué)者，雷鋒網(wǎng) AI 科技評論以此為主要內(nèi)容編譯如下。
人工智能領(lǐng)域的很多人都很在意做出值得吹捧的結(jié)果，比如造出一個(gè)會下圍棋或者會玩電腦游戲的 AI。這種成果的復(fù)雜度確實(shí)令人欽佩，但這也很容易讓我們忽視了智力中非常重要的另外一個(gè)維度：泛化能力，就是能處理許多不同的任務(wù)、能應(yīng)對很多不同環(huán)境的能力。對于 2020 年，我希望能出現(xiàn)一些新方法，幫助我們構(gòu)建泛化能力更好的模型。
我自己的研究中就會通過強(qiáng)化學(xué)習(xí)訓(xùn)練機(jī)器人，讓它們能理解自己的行為是如何影響所在環(huán)境的。比如，我會訓(xùn)練機(jī)器人與多種不同的物體互動(dòng)，目標(biāo)是完成多種不同的任務(wù)，有時(shí)候是把東西裝進(jìn)盒子里，有時(shí)候是把垃圾掃進(jìn)簸箕。但用強(qiáng)化學(xué)習(xí)訓(xùn)練實(shí)現(xiàn)這些目標(biāo)其實(shí)挺難的。
在監(jiān)督學(xué)習(xí)中，在 ImageNet 數(shù)據(jù)集的一千四百萬張圖像上訓(xùn)練一個(gè)圖像識別器，總會得到一定程度的泛化性。在強(qiáng)化學(xué)習(xí)中，一個(gè)模型的學(xué)習(xí)方式是和環(huán)境互動(dòng)，然后它在這個(gè)過程中逐步地收集越來越多的數(shù)據(jù)。我們已經(jīng)了習(xí)慣了在 ImageNet 上訓(xùn)練出的模型有不錯(cuò)的泛化水平，但以當(dāng)前的技術(shù)，如果想要讓強(qiáng)化學(xué)習(xí)模型也達(dá)到這樣的泛化水平，我們就需要讓每個(gè)新模型都收集 ImageNet 那樣規(guī)模的數(shù)據(jù)集。這就是基本做不到的了。
如果我們希望強(qiáng)化學(xué)習(xí)訓(xùn)練出的系統(tǒng)有好的泛化能力，我們就需要設(shè)計(jì)能從離線的數(shù)據(jù)集中學(xué)習(xí)的智能體，而不是只能邊探索環(huán)境邊收集數(shù)據(jù)。而且我們還希望預(yù)收集的數(shù)據(jù)集也能逐步更新，反映出環(huán)境或者世界的變化，就像 ImageNet 從最初的一百萬張圖像變成了如今的一千四百萬張一樣。
有一些變化已經(jīng)開始發(fā)生了。比如，在一些研究中，機(jī)器人可以從它們的自己的環(huán)境交互+人類引導(dǎo)機(jī)械臂的動(dòng)作演示中學(xué)習(xí)如何把新物體當(dāng)作工具使用；我們也在嘗試如何利用其它來源的數(shù)據(jù)，比如我們采集了一個(gè)大的機(jī)器人互動(dòng)數(shù)據(jù)集，里面有來自四個(gè)不同研究機(jī)構(gòu)的、七種不同機(jī)器人平臺的數(shù)據(jù)。
看到有很多研究人員都在想方設(shè)法提高強(qiáng)化學(xué)習(xí)的泛化性。如果我們能解決這些挑戰(zhàn)，我們的機(jī)器人距離「在真實(shí)世界中智慧地行動(dòng)」這個(gè)目標(biāo)就更近了一步，而不是像現(xiàn)在這樣，只能在實(shí)驗(yàn)室里做一些「仿佛有智慧的事」。
人類可以只花 20 個(gè)小時(shí)就基本學(xué)會安全地駕駛汽車，而當(dāng)前的模仿學(xué)習(xí)算法學(xué)開車需要數(shù)十萬小時(shí)，強(qiáng)化學(xué)習(xí)算法學(xué)開車甚至需要數(shù)百萬小時(shí)，這是怎么回事呢？顯然我們忽視了什么重要的事情。
人類能高效地學(xué)習(xí)，似乎是因?yàn)槲覀冾^腦中就有一個(gè)關(guān)于這個(gè)世界的模型。剛出生的嬰兒幾乎不知道怎么和世界互動(dòng)，但是只需要幾個(gè)月的時(shí)間他們就能通過觀察明白很多背景知識。顯然我們大腦中的很大一部分都是用來理解這個(gè)世界的結(jié)構(gòu)、預(yù)測我們無法直接觀察的事情的（可能時(shí)間上在未來，可能空間上有遮擋）。
在我看來，這意味著 AI 的未來發(fā)展之路應(yīng)當(dāng)是「自監(jiān)督學(xué)習(xí)」。它很像監(jiān)督學(xué)習(xí)，但它要做的不是讓系統(tǒng)學(xué)習(xí)樣本到標(biāo)簽的分類關(guān)系，而是把樣本的一部分遮起來、讓模型觀察不到，然后讓它預(yù)測觀察不到的那部分。比如我們把一個(gè)視頻里的某個(gè)片段抽走，然后訓(xùn)練機(jī)器根據(jù)前后的內(nèi)容把這一段重新補(bǔ)出來。
這種方法最近在自然語言理解領(lǐng)域特別的有效，BERT、RoBERTa、XLNet、XLM 等等模型都是用自監(jiān)督學(xué)習(xí)的思路，預(yù)測成段文本中缺失的詞，從而訓(xùn)練出來的。這些模型在所有重要的語言任務(wù)中都取得了優(yōu)秀的分?jǐn)?shù)。對于 2020 年，我希望自監(jiān)督的方法可以從視頻和圖像中學(xué)習(xí)特征。有沒有可能在視頻這種高維連續(xù)數(shù)據(jù)上也發(fā)生類似的革命呢？
有一個(gè)關(guān)鍵的挑戰(zhàn)是處理不確定性。BERT 這樣的模型沒辦法確定句子里缺的那個(gè)賓語是「貓」還是「狗」，但是它們可以生成一個(gè)概率分布。但針對圖像和視頻中的幀，目前我們還沒有好的模型可以生成一個(gè)概率分布。不過近期的研究已經(jīng)距離這個(gè)目標(biāo)越來越近了，很有可能要不了多久我們就能找到了。到時(shí)候我們只需要很少的訓(xùn)練樣本就可以讓模型預(yù)測視頻中的動(dòng)作，那會成為 AI 領(lǐng)域非常激動(dòng)人心的一年。
人工智能已經(jīng)從探索發(fā)現(xiàn)的時(shí)代進(jìn)入了落地應(yīng)用的時(shí)代。我們投資了諸多 AI 項(xiàng)目，大部分都在中國，如今已經(jīng)可以看到銀行、金融、交通、物流、超市、餐館、倉儲、工廠、學(xué)校、藥物研發(fā)等許多領(lǐng)域都有大規(guī)模的 AI 及自動(dòng)化的應(yīng)用。不過，如果從經(jīng)濟(jì)總體來看，開始使用 AI 的企業(yè)只有很小的比例。這里還有很大的增長空間。
我相信，在人類科技發(fā)展進(jìn)步的歷史中，AI 的發(fā)明將會和電的發(fā)明一樣重要。在未來的一二十年中，AI 將會越來越多地滲入到我們的個(gè)人生活和工作中，帶來更高的效率，也帶來更智慧的體驗(yàn)。企業(yè)、機(jī)構(gòu)、政府都應(yīng)當(dāng)全面擁抱 AI，推動(dòng)社會進(jìn)步。
我最覺得激動(dòng)的是 AI 在醫(yī)療保健和教育方面的影響。這兩個(gè)領(lǐng)域都隨時(shí)等待著 AI 進(jìn)入，而且可以用 AI 做許多好事。
我們投資的企業(yè)里有一家是用 AI 和大數(shù)據(jù)來優(yōu)化供應(yīng)鏈的，效果是為超過 150 萬生活在農(nóng)村的中國人緩解了藥物短缺問題。我們也投資了結(jié)合深度學(xué)習(xí)和生成式化學(xué)的力量進(jìn)行藥物研發(fā)的企業(yè)，這種做法能把新藥發(fā)現(xiàn)的時(shí)間縮短到原來的三分之一甚至四分之一。
在教育領(lǐng)域，我們也看到有企業(yè)在開發(fā)基于 AI 的方法來幫學(xué)生改進(jìn)英文發(fā)音、批改試卷和作業(yè)、以及把數(shù)學(xué)的學(xué)習(xí)過程游戲化、個(gè)人定制化。這可以把老師從日常的任務(wù)中解放出來，讓他們可以把更多時(shí)間精力花在新時(shí)代的學(xué)生身上，建立有啟發(fā)、鼓勵(lì)作用的師生關(guān)系。
我希望在 2020 年以及未來的幾年里看到更多的創(chuàng)業(yè)者和企業(yè)家開始用 AI 做有益的事情。
投資在新型 AI 硬件開發(fā)上的數(shù)十億美元資金將在 2020 年看到早期成果。谷歌在 2017 年開發(fā)出的 TPU 為自己節(jié)省了大量運(yùn)算成本，然后在接下來的兩三年中我們看到阿里巴巴、Cerebras、Graphcore、Habana、英特爾等許多企業(yè)都開始研發(fā)自己的 AI 芯片。這些芯片會慢慢地進(jìn)駐到科研實(shí)驗(yàn)室和企業(yè)數(shù)據(jù)中心里。我希望 AI 大家庭能盡量利用好這些芯片的能力，讓 AI 領(lǐng)域可以用上更好的模型、帶來更有價(jià)值的實(shí)際應(yīng)用。
那么，開發(fā)機(jī)器學(xué)習(xí)的工程師們要怎么知道這些新的、融合式的替代平臺能不能比傳統(tǒng)的 CPU + GPU 方案表現(xiàn)更好呢？
計(jì)算機(jī)架構(gòu)的評價(jià)方式有那么點(diǎn)迂回，并不是直接對比絕對規(guī)模。為了能對比不同體積的設(shè)備，我們把性能除以價(jià)格，或者把性能除以功耗，也可以把性能除以芯片的數(shù)量。每個(gè)競爭者都會選出在自己的芯片上有代表性的一組程序來作為和別人競爭時(shí)的跑分測試。選很多組這樣的測試程序，然后把得到的所有分?jǐn)?shù)取平均值，相比于在某一組上做測試能更好地反映芯片的真實(shí)性能。
MLPerf 就是基于 50 家企業(yè)、9 所高校選出的代表性程序而設(shè)計(jì)出的較新的 AI 芯片跑分測試。MLPerf 中包括了程序、數(shù)據(jù)集，也包括了測試訓(xùn)練和推理的固定規(guī)范，給準(zhǔn)確率、超參數(shù)的選擇范圍等重要的參數(shù)給出了明確的要求。為了能跟上機(jī)器學(xué)習(xí)領(lǐng)域的快速發(fā)展，MLPerf 也會每三個(gè)月更新一次新版本。
有的產(chǎn)品沒法在公平的測試中取勝，所以他們的宣傳部門就會對 MLPerf 的跑分言辭躲閃，甚至說「我們的用戶并不關(guān)心 MLPerf 里面的測試程序」這樣的話?？汕f別被這種話糊弄了。首先，MLPerf 樂意加入新的程序，所以如果某種負(fù)載目前沒有包括在 MLPerf 里面，那它是可以加進(jìn)來的。其次，競爭者們也會關(guān)心別家芯片的 MLPerf 跑分，確保對比方法不是南轅北轍。
如果怕買錯(cuò)了東西以后不包退，那就記得先查查 MLPerf 分?jǐn)?shù)！
對于 2020 年，我有這三條期盼：
希望能夠出現(xiàn)深度神經(jīng)網(wǎng)絡(luò)之外的更新、更先進(jìn)的機(jī)器學(xué)習(xí)方法。學(xué)術(shù)研究人員們、工程師們、開發(fā)者們研究和應(yīng)用神經(jīng)網(wǎng)絡(luò)模型已經(jīng)有很長時(shí)間了。而其他的機(jī)器學(xué)習(xí)方法的技術(shù)創(chuàng)新空間相對來說要大得多。
希望 AI 可以應(yīng)用在更多領(lǐng)域中，給人們的日常生活帶來更多積極的影響。
希望 AI 學(xué)術(shù)研究人員們、工程師們、開發(fā)者們可以有更多的反思和討論，要考慮如何避免 AI 技術(shù)的發(fā)展走上邪路、如何避免 AI 技術(shù)被惡意使用或者濫用。
對于 2020 年的 NLP 研究發(fā)展，我有這么幾條心愿：
從更少的樣本學(xué)習(xí)，而不是從更大的數(shù)據(jù)集學(xué)習(xí)
發(fā)展更緊湊、更高效的模型，而不是發(fā)展規(guī)模更大的模型
至少在兩種語言上評價(jià)模型（最好是不同語系的語言）
新的 NLP 數(shù)據(jù)集最好也至少含有兩種語言
用 NLP 輔助科研，發(fā)掘更多的科學(xué)知識（比如《Unsupervised word embeddings capture latent knowledge from materials science literature》這篇 Nature 論文）
部分內(nèi)容參考 blog.deeplearning.ai/blog/，雷鋒網(wǎng) AI 科技評論編譯
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
