從左至右：Google AI 主管 Jeff Dean，加州大學(xué)伯克利分校教授 Celeste Kidd，Pythorch 主管 Soumith Chintala，Nvidia 機器學(xué)習(xí)研究主管 Anima Anandkumar，以及 IBM 研究總監(jiān) Dario Gil

人工智能不再準備在未來某一天改變世界——它正在改變世界。在新的十年開始之際，VentureBeat 采訪了人工智能界最敏銳的頭腦，重新審視 2019 年取得的進展，并展望 2020 年機器學(xué)習(xí)的成熟路徑。我們采訪了 PyTorch 的創(chuàng)建者 Soumith Chintala、加州大學(xué)教授 Celeste Kidd、Google AI 主管 Jeff Dean、Nvidia 機器學(xué)習(xí)研究主管 Anima Anandkumar 和 IBM 研究主管 Dario Gil。

每個人都有對來年的預(yù)測，但這些人創(chuàng)造了今天的未來——在人工智能界擁有權(quán)威的個人，他們過去取得了輝煌的成績。盡管一些人預(yù)測了半監(jiān)督學(xué)習(xí)和神經(jīng)符號方法等子領(lǐng)域的進展，但事實上，所有與 VentureBeat 交談過的智囊都同意，2019 年，基于 transformer 的自然語言模型取得了巨大進展，并預(yù)測在類似技術(shù)的面部識別方面將繼續(xù)存在爭議。他們還希望人工智能技術(shù)的評價標準不僅僅是準確性。

Soumith Chintala

Soumith Chintala，Pythorch 董事、總工程師、創(chuàng)始人。

目前，PyTorch 是當(dāng)今世界上最流行的機器學(xué)習(xí)框架。PyTorch 是 2002 年推出的 Torch 開源框架的衍生產(chǎn)品，于 2015 年面世，并在擴展中穩(wěn)步增長。

2019 年秋天，F(xiàn)acebook 發(fā)布了 PyTorch 1.3，其中包括量化和 TPU 支持，以及 Captum（一個深度學(xué)習(xí)的可解釋性工具）和 PyTorch Mobile。當(dāng)然還有其它東西，比如 PyRobot 和 PyTorch Hub，用于共享代碼和鼓勵 ML 實踐者接受可復(fù)制性。

在 Pythorch 開發(fā)者與 VentureBeat 的一次對話中，Chintala 說，他認為 2019 年機器學(xué)習(xí)幾乎沒有什么突破性進展。

「實際上，我不認為我們做出了什么突破性的成果……基本上從 transformer 開始就這樣了。2012 年是 ConvNets 的黃金時間，而對 transformer 來說則是在 2017 年左右。這是我個人的看法?！?br/>

他接著稱，DeepMind 的 AlphaGo 在強化學(xué)習(xí)方面的貢獻是開創(chuàng)性的，但他表示，這些成果很難在現(xiàn)實世界中用于處理實際任務(wù)。

Chintala 還認為，機器學(xué)習(xí)框架的發(fā)展，當(dāng)今 ML 從業(yè)者中最受歡迎的工具，如 Pythorch 和 Google 的 TensorFlow，已經(jīng)改變了研究人員探索自己的想法和工作的方式。

他說：「從某種意義上說，這是一個突破，它們使技術(shù)的發(fā)展速度比過去快了一兩個數(shù)量級?！埂?br/>

今年，Google 和 Facebook 的開源框架引入了量化來提高模型訓(xùn)練速度。在未來的幾年里，Chintala 預(yù)計 Pythorch 的 JIT 編譯器和 Glow 等神經(jīng)網(wǎng)絡(luò)硬件加速器的重要性和采用率將出現(xiàn)「爆炸式增長」。

「根據(jù) PyTorch 和 TensorFlow，你會發(fā)現(xiàn)框架是有點趨同的。量化以及其他一些較低效技術(shù)出現(xiàn)的原因，是因為下一場戰(zhàn)爭在框架的編譯器上——XLA、TVM、Pythorch 已經(jīng)非常出色，很多創(chuàng)新正在等待發(fā)生。在接下來的幾年里，你將看到如何更智能地量化，如何更好地融合，如何更有效地使用 GPU，以及如何使用新硬件自動編譯?！?。

與 VentureBeat 為本文采訪的大多數(shù)其他行業(yè)領(lǐng)袖一樣，Chintala 預(yù)測，到 2020 年，人工智能社區(qū)將更加重視人工智能模型的精度以外的性能，并開始將注意力轉(zhuǎn)向其他重要因素，如創(chuàng)建模型所需的消耗、如何向人類解釋輸出以及人工智能如何更好地反映出人們想要建立的那種社會。

「如果你回想過去的五、六年，我們只關(guān)注精確性和原始數(shù)據(jù)，比如英偉達的模型是否更精確嗎、Facebook 的模模型準確性如何。但實際上，我認為 2020 年將是我們開始以更復(fù)雜的方式思考的一年，如果你的模型沒有良好的互操作性機制（或滿足其他標準），那么它是否更精確 3% 并不重要?！?/p>

Celeste Kidd

CelesteKidd 是加州大學(xué)伯克利分校 Kidd 實驗室的主任，她和她的團隊在那里探索孩子們是如何學(xué)習(xí)。他們正試圖用與撫養(yǎng)孩子不太相似的方式來訓(xùn)練模型，這項研究有助于構(gòu)建神經(jīng)網(wǎng)絡(luò)。

她說：「人類嬰兒沒有被標記的數(shù)據(jù)集，但他們做得很好，我們必須了解這是如何發(fā)生的?！?。

2019 年讓 Kidd 感到驚訝的一件事是，有很多神經(jīng)網(wǎng)絡(luò)創(chuàng)造者隨意貶低她或其他研究人員的工作，認為他們無法做嬰兒能做的事情。

她說，當(dāng)你把嬰兒的行為平均化時，你會看到他們理解一些事情的證據(jù)，但他們絕對不是完美的學(xué)習(xí)者。

她說，人類的嬰兒很棒，但他們犯了很多錯誤，她看到的很多比較實驗都是人們隨便做的，他們在人口層面上把嬰兒的行為理想化。「我認為，你現(xiàn)在所知道的和你下一步想了解的事情之間的聯(lián)系可能會越來越受到重視?！?br/>

在人工智能中，「黑匣子」這個詞已經(jīng)存在多年了。它被用來批評神經(jīng)網(wǎng)絡(luò)缺乏可解釋性，但 Kidd  認為， 2020 年可能意味著神經(jīng)網(wǎng)絡(luò)不可解釋觀念的終結(jié)。

她說：「關(guān)于黑匣子的爭論是假的，大腦也是黑匣子，我們在理解大腦如何工作方面取得了很大進展。」。

為了解開這種對神經(jīng)網(wǎng)絡(luò)的認識，Kidd 將目光投向了像 MIT-IBM Watson AI Lab 執(zhí)行主任 Aude Oliva 這樣的人。

「我們討論這個問題時，我說了一些關(guān)于這個系統(tǒng)是一個黑匣子的事情，她卻說他們肯定不是黑匣子。當(dāng)然，你可以把它們拆解開，看看它們是如何工作的，并對它們進行實驗，就像我們理解認知一樣?！筀idd 說。

上個月，Kidd 在全球最大的人工智能研究會議——NeurIPS 上發(fā)表了開幕主題演講。她的演講集中在人類大腦如何堅持信念、處理注意力系統(tǒng)和進行貝葉斯統(tǒng)計。

她說，傳遞信息的黃金地帶介于一個人的興趣和理解令他們驚訝的事情之間。人們往往不太喜歡過于驚人的內(nèi)容。

她接著說，因為沒有中立的技術(shù)平臺，她把注意力轉(zhuǎn)向研究內(nèi)容推薦系統(tǒng)的制造商如何操縱人們的信仰。系統(tǒng)建立在追求最大參與度的基礎(chǔ)上，可以對人們形成的信念和觀點產(chǎn)生重大影響。

Kidd 在演講結(jié)束時談到了機器學(xué)習(xí)中某些男性的誤解，即他們認為與女性同事單獨相處會導(dǎo)致性騷擾指控，結(jié)束男性的職業(yè)生涯。她說，這種誤解會損害女性在這一領(lǐng)域的事業(yè)。

因在羅切斯特大學(xué)公開發(fā)表性不端行為，Kidd 與其他女性一起在 2017 年被評為「時代人物」，這些女性幫助促成了我們現(xiàn)在的「平等對待婦女的 MeToo 運動」。但在當(dāng)時，Kidd 本以為這會結(jié)束她的職業(yè)生涯。

2020 年，她希望看到人們對技術(shù)工具和技術(shù)決策的現(xiàn)實影響的認識有所提高，并且工具制造商需要對人們使用工具的行為負責(zé)。

她說：「我聽到很多人試圖為自己辯護，說『我不是真相的操控者』。我認為必須提高人們對這種不誠實態(tài)度的認識?！?br/>

「作為一個社會人，特別是正在開發(fā)這些工具的人們，確實需要意識到隨之而來的責(zé)任。」

Jeff Dean

Dean 領(lǐng)導(dǎo) Google AI 已經(jīng)將近兩年了，他在谷歌工作了 20 年，是該公司許多早期搜索和分布式網(wǎng)絡(luò)算法的設(shè)計師，也是 Google Brain 的早期成員。

Dean 上個月在 NeurIPS 發(fā)表了關(guān)于 ASIC 半導(dǎo)體設(shè)計的機器學(xué)習(xí)和人工智能社區(qū)解決氣候變化的方法的演講，他說這是我們這個時代最重要的問題。在談到氣候變化時，Dean 認為人工智能可以努力成為一個零碳產(chǎn)業(yè)，也可以用來幫助改變?nèi)祟惖男袨椤?br/>

他預(yù)計 2020 年在多模態(tài)學(xué)習(xí)和多任務(wù)學(xué)習(xí)領(lǐng)域?qū)⑷〉眠M展。

毫無疑問，2019 年最大的機器學(xué)習(xí)趨勢之一是基于 Transformer 的自然語言模型的持續(xù)增長和擴散，Chintala 模型此前被稱為近年來人工智能領(lǐng)域最大的突破之一。2018 年，谷歌開源 BERT，這是一個基于 Transformer 的模型。而據(jù) GLUE 排行榜，今年發(fā)布的一些表現(xiàn)最好的機型，比如谷歌的 XLNet、微軟的 MT-DNN 和 Facebook 的 RoBERTa，它們都是基于 Transformer 的。

Dean 指出了已經(jīng)取得的進展，他說：「我認為在實際產(chǎn)生機器學(xué)習(xí)模型方面已經(jīng)取得了相當(dāng)豐碩的成果，這些模型讓我們現(xiàn)在能做比過去更復(fù)雜的 NLP 任務(wù)?！沟a充說，這還有增長的空間?！肝覀?nèi)匀幌Ｍ軌蜃龈嗟纳舷挛念愋偷哪Ｐ?。和現(xiàn)在一樣，BERT 和其他模型可以很好地處理數(shù)百個單詞，但不能將 10000 個單詞作為上下文。所以這是一個有趣的方向。」

Dean 說，他希望看到不要太看重最新技術(shù)的微小進步，這有利于創(chuàng)建更健壯的模型。

Google AI 還將致力于推進新的研究，比如 DailyRobot，這是一個于 2019 年 11 月推出的內(nèi)部項目，旨在制造能夠在家庭和工作場所完成共同任務(wù)的機器人。

Anima Anandkumar

英偉達機器學(xué)習(xí)研究總監(jiān) Anima Anandkumar 同時在 AWS 擔(dān)任首席科學(xué)家。Nvidia 的人工智能研究涉及許多領(lǐng)域，從醫(yī)療保健的聯(lián)合學(xué)習(xí)到自動駕駛、超級計算機和圖形。

英偉達和 Anandkumar 在 2019 年的一個重點研究領(lǐng)域是強化學(xué)習(xí)的模擬框架，該框架正變得越來越流行和成熟。

2019 年，我們看到了英偉達的 Drive autonomus 駕駛平臺和 Isaac 機器人模擬器的崛起，以及從生成對抗網(wǎng)絡(luò)生成合成數(shù)據(jù)的模型。

去年，類似人工智能的 StyleGAN（一種可以讓人們質(zhì)疑自己是在看電腦生成的人臉還是真人的網(wǎng)絡(luò)）和 GauGAN（可以用畫筆生成風(fēng)景）也開始興起。StyleGAN2 于上個月首次亮相。

GANs 是可以模糊現(xiàn)實界限的技術(shù)，Anandkumar 相信它們可以幫助解決人工智能社區(qū)正在努力解決的主要挑戰(zhàn)，比如抓握機器人手和自動駕駛。

Anandkumar 還希望在未來一年內(nèi)看到迭代算法、自監(jiān)督和模型自訓(xùn)練方法的進展，這些模型可以通過使用未標記的數(shù)據(jù)進行自訓(xùn)練來改進。

「我認為各種不同的迭代算法都是未來的發(fā)展方向，因為如果你只做一個前饋網(wǎng)絡(luò)，那么穩(wěn)健性就是一個問題。如果你嘗試進行多次迭代，并且根據(jù)你想要的數(shù)據(jù)類型或精度要求來調(diào)整迭代，那么實現(xiàn)這一目標的可能性就大得多?！埂?br/>

Anandkumar 認為，2020 年人工智能社區(qū)面臨諸多挑戰(zhàn)，比如需要與領(lǐng)域?qū)＜乙黄饎?chuàng)建專門針對特定行業(yè)的模型。政策制定者、個人和人工智能社區(qū)還需要解決代表性問題，以及確保用于訓(xùn)練模型的數(shù)據(jù)集能夠滿足不同人群需求的挑戰(zhàn)。

Anandkumar 說，面部識別最受關(guān)注，因為人們很容易意識到這是侵犯個人隱私的，但 2020 年人工智能社區(qū)還將面臨一些其他道德問題。

在 Anandkumar 看來，2019 年最大的驚喜之一是文本生成模型的迅速發(fā)展。

「2019 年是語言模型年，現(xiàn)在，我們第一次實現(xiàn)了在段落長度上產(chǎn)生更連貫的文本的目標，這在以前是不可能的?！埂?br/>

2019 年 8 月，英偉達推出 Megatron 自然語言模型。Megatron 擁有 80 億個參數(shù)，被稱為世界上最大的基于 Transformer 的人工智能模型。Anandkumar 說，人們開始把模型描繪成有個性的人，她對此感到驚訝，她期待看到更多特定行業(yè)的文本模型。

「我們還沒有做到對話生成，對話生成是互動的，能夠跟蹤上下文并進行自然的對話。因此，我認為 2020 年將朝著這個方向做出更為認真的嘗試?！埂?/p>

開發(fā)文本生成控制框架將比開發(fā)可用于識別人或?qū)ο蟮膱D像框架更具挑戰(zhàn)性。文本生成模型還可能面臨其它挑戰(zhàn)，例如，為神經(jīng)模型定義事實。

最后，Anandkumar 說，看到 Kidd 在 NeurIPS 的演講獲得起立鼓掌，以及在機器學(xué)習(xí)社區(qū)中日益成熟和包容的跡象，她感到很振奮。

「我覺得現(xiàn)在是分水嶺時刻，一開始甚至做出小的改變都很難。我希望我們能夠保持這種勢頭，進行更大的結(jié)構(gòu)改革?！?/p>

Dario Gil

作為 IBM Research 總監(jiān)，Gil 領(lǐng)導(dǎo)了一組研究人員，積極為白宮和世界各地的企業(yè)提供咨詢。他認為，2019 年的重大飛躍包括圍繞生成模型的進展，以及生成可信語言的質(zhì)量不斷提高。

他預(yù)測，訓(xùn)練將在精簡結(jié)構(gòu)的情況下，朝著更有效的方向繼續(xù)前進。開發(fā)更有效的人工智能模型是 NeurIPS 的一個重點，IBM Research 在 NeurIPS 引入了 8 位精確模型的深度學(xué)習(xí)技術(shù)。

他說：「我們用現(xiàn)有的硬件和 GPU 架構(gòu)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的方式仍然是如此低效。因此，對這一點進行真正根本性的反思非常重要。我們必須提高人工智能的計算效率，這樣才能做得更多?！埂?br/>

Gil 引用了一項研究，研究表明，每三個半月，對 ML 訓(xùn)練的需求就會翻一番，比摩爾定律預(yù)測的增長要快得多。

Gil 還對人工智能如何幫助加速科學(xué)發(fā)現(xiàn)非常感興趣，但 IBM 的研究將主要集中在機器學(xué)習(xí)的神經(jīng)符號方法上。

在 2020 年，Gil 希望人工智能從業(yè)者和研究人員能開發(fā)出一種超越精確性的指標，以考慮在生產(chǎn)中部署模型的價值。將領(lǐng)域轉(zhuǎn)向構(gòu)建可信系統(tǒng)，而不是優(yōu)先考慮準確性，這將是繼續(xù)采用人工智能的中心支柱。

「有些社區(qū)成員可能會接著說，不用擔(dān)心，只要準確就行了。沒關(guān)系，人們會習(xí)慣這樣一個事實，那就是人類有時不會對我們所做的某些決定做出解釋。我認為，我們集中社區(qū)的力量在這方面做得更好是非常重要的。人工智能系統(tǒng)不能成為關(guān)鍵任務(wù)應(yīng)用程序的黑匣子。」。

Gil 相信，要想讓更多具備數(shù)據(jù)科學(xué)和軟件工程技能的人使用人工智能，就必須擺脫這樣一種觀念，即只有少數(shù)機器學(xué)習(xí)奇才能夠做到這一點。

他說：「如果我們把人工智能當(dāng)成一個神話般的領(lǐng)域，只有從事這方面工作的精選博士才能進入，那么這并不能真正促進人工智能的應(yīng)用?！?。

Gil 對神經(jīng)符號人工智能特別感興趣。在未來的一年里，IBM 將尋求神經(jīng)符號方法來增強概率編程等功能，人工智能在其中學(xué)習(xí)如何操作程序，以及能夠共享決策背后推理的模型。

他說：「通過采用當(dāng)代新方法的混合方法，通過這些神經(jīng)符號方法將學(xué)習(xí)和推理結(jié)合起來，將符號維度嵌入到學(xué)習(xí)程序中，我們已經(jīng)證明，你可以用所需的一小部分數(shù)據(jù)來學(xué)習(xí)。你學(xué)習(xí)了一個程序，最終得到了一些可解釋的東西，因為你有一些可解釋的東西，你得到了更可信的東西?！?br/>

他說，公平性、數(shù)據(jù)完整性以及數(shù)據(jù)集的選擇等問題將繼續(xù)受到廣泛關(guān)注，「任何與生物測定有關(guān)的問題」也將繼續(xù)受到關(guān)注。面部識別得到了很多關(guān)注，但這只是個開始。語音數(shù)據(jù)將越來越敏感，其他形式的生物測定也將如此。

除了神經(jīng)符號和常識推理外，Gil 表示，在 2020 年，IBM Research 還將探索用于人工智能的量子計算，以及用于人工智能的模擬硬件，超越降低精度的體系結(jié)構(gòu)。

最后的想法

機器學(xué)習(xí)正在繼續(xù)塑造商業(yè)和社會，VentureBeat 在采訪研究人員和專家時看到了一些即將出現(xiàn)的趨勢：

• 2019 年的重大進展是自然語言模型的進步，Transformer 推動了這一領(lǐng)域的巨大飛躍。2020 年將會有更多基于 BERT 和 Transformer 的模型。
  

• 人工智能行業(yè)應(yīng)該尋找方法來評估模型的輸出，而不僅限于準確性。
  

• 半監(jiān)督學(xué)習(xí)、機器學(xué)習(xí)的神經(jīng)符號方法以及多任務(wù)和多模態(tài)學(xué)習(xí)等子領(lǐng)域可能在未來一年取得進展。
  

• 與生物統(tǒng)計數(shù)據(jù)（如語音記錄）相關(guān)的道德挑戰(zhàn)可能會繼續(xù)引起爭議。
  

• 對于 PyTorch 和 TensorFlow 等機器學(xué)習(xí)框架來說，量化等編譯器和方法作為優(yōu)化模型性能的方法可能越來越受歡迎。
  

via：https://venturebeat.com/2020/01/02/top-minds-in-machine-learning-predict-where-ai-is-going-in-2020/

雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。