0
| 本文作者： JocelynWang | 編輯：幸麗娟 | 2019-11-18 10:30 |
圖：研究人員在 3D 打印的烏龜上添加一些顏色，AI 的識(shí)別結(jié)果為「來復(fù)槍」。（ICML 2018）
一輛自動(dòng)駕駛汽車在接近停車標(biāo)志的時(shí)候，沒有進(jìn)行減速，反而加速駛?cè)肓藫矶碌氖致房?。隨后一份事故報(bào)告表明，該停車標(biāo)志表面粘有四個(gè)小矩形，這個(gè)信息欺騙了車載人工智能（AI），將“停止”一詞誤讀為“限速45”。
雖然該事件并未在現(xiàn)實(shí)中發(fā)生，但人為擾亂 AI 判斷的潛在可能性是真實(shí)存在的。研究人員已經(jīng)展示了如何通過細(xì)致地在停車標(biāo)志的某些位置上貼上貼紙以此愚弄人工智能系統(tǒng)，使其對(duì)停車標(biāo)志產(chǎn)生誤讀[1]。此外，他們還通過在眼鏡或帽子上貼印刷圖案來欺騙人臉識(shí)別系統(tǒng)，并且通過在音頻中插入白噪聲模式，讓語音識(shí)別系統(tǒng)聽取虛假短語以實(shí)現(xiàn)欺騙系統(tǒng)的目的。
擊敗 AI 中被稱為深度神經(jīng)網(wǎng)絡(luò)（DNN）的這一先進(jìn)的模式識(shí)別技術(shù)是件多么容易的事情，而以上僅是此類案例中的一部分。深度神經(jīng)網(wǎng)絡(luò)方法在正確分類包括圖像，語音和消費(fèi)者偏好數(shù)據(jù)等在內(nèi)的各種輸入方面，大獲成功。它們已經(jīng)成為是日常生活的一部分，正在自動(dòng)電話系統(tǒng)到流媒體服務(wù)網(wǎng)飛（Netflix）的用戶推薦功能上運(yùn)行著。然而，當(dāng)以人們難以察覺的微小變化形式更改輸入時(shí)，往往可能會(huì)混淆其周圍效果最好的神經(jīng)網(wǎng)絡(luò)。
加利福尼亞大學(xué)伯克利分校計(jì)算機(jī)科學(xué)專業(yè)的博士生 DanHendrycks 說到，這些問題比不完美的技術(shù)造成的“莫名其妙”的結(jié)果更令人擔(dān)憂。像許多科學(xué)家一樣，他開始將這些問題看作證明“DNN 從根本上而言是脆性的”的直觀例證：它們即便此前在某一任務(wù)上表現(xiàn)得再出色，一旦進(jìn)入到陌生的領(lǐng)域，就會(huì)以無法預(yù)料的方式遭遇失敗。
來源：Stop sign: Ref. 1; Penguin: Ref. 5
這將可能會(huì)導(dǎo)致嚴(yán)重的問題。深度學(xué)習(xí)系統(tǒng)越來越多地走出實(shí)驗(yàn)室而進(jìn)入現(xiàn)實(shí)世界：從駕駛無人駕駛汽車到犯罪制圖和疾病診斷領(lǐng)域。但今年一項(xiàng)研究報(bào)告稱，惡意添加到醫(yī)學(xué)掃描中的像素可能會(huì)使 DNN 誤檢癌癥[2]。另一項(xiàng)研究表明，黑客可以利用這些弱點(diǎn)劫持一個(gè)基于在線 AI 的系統(tǒng)，使其運(yùn)行入侵者自己的算法[3]。
在努力找出問題所在的同時(shí)，研究人員也發(fā)現(xiàn)了招致 DNN 失敗的諸多原因。來自加利福尼亞山景城的谷歌 AI 工程師 Fran?oisChollet 認(rèn)為：“目前尚無解決深度神經(jīng)網(wǎng)絡(luò)根本脆弱性的方法”。他和其他研究者認(rèn)為，要克服這些缺陷，研究人員需要使用額外的能力來增強(qiáng)模式匹配 DNN ：例如，使 AI 能夠自己探索世界，編寫自己的代碼并保留記憶。一些專家認(rèn)為，這類系統(tǒng)將構(gòu)成 AI 研究領(lǐng)域未來十年的新篇章。
2011年，谷歌推出了一種可以識(shí)別 YouTube 視頻中貓的系統(tǒng)，不久之后，出現(xiàn)了一系列基于 DNN 的分類系統(tǒng)。任職懷俄明大學(xué)拉勒米分校、兼任加利福尼亞州舊金山 Uber AI 實(shí)驗(yàn)室的高級(jí)研究經(jīng)理 JeffClune 感慨道：“所有人都在說，‘哇，這太神奇了，計(jì)算機(jī)終于可以理解世界了’?！?/p>
但是 AI 研究人員知道 DNN 實(shí)際上并不了解世界。它們實(shí)際上是大腦結(jié)構(gòu)的粗糙模型，是由許多數(shù)字神經(jīng)元組成的軟件結(jié)構(gòu)，這些數(shù)字神經(jīng)元分布在許多層中，每個(gè)神經(jīng)元都在其上方和下方各層的其他神經(jīng)元相互連接。
它的思路大致如下，首先將原始輸入的特征放入底層，例如圖像中的像素，這將觸發(fā)其中一些神經(jīng)元，這些神經(jīng)元隨后根據(jù)簡單的數(shù)學(xué)規(guī)則將信號(hào)傳遞到上一層神經(jīng)元。DNN 網(wǎng)絡(luò)的訓(xùn)練過程包括使其接觸大量的示例，并在每次接觸時(shí)都調(diào)整神經(jīng)元的連接方式，從而最終能夠在頂層輸出所需的答案——例如它可以始終將圖片中的獅子識(shí)別為獅子，即使DNN之前從未見過這張圖片。
2013 年，谷歌研究員 Christian Szegedy 和他的同事發(fā)布了一張名為“神經(jīng)網(wǎng)絡(luò)的有趣特性”[4]的預(yù)印本，這是首個(gè)重大的現(xiàn)實(shí)檢測。該團(tuán)隊(duì)表明了這一事件的可能性：輸入一張 DNN 可識(shí)別的圖像，例如獅子的圖像，然后通過改變部分像素可使機(jī)器確信自己正在查看另外一個(gè)不同的東西，比如一個(gè)開發(fā)庫。該研究小組稱篡改后的圖像為“對(duì)抗樣本”。
一年后，Clune 和他當(dāng)時(shí)的博士生 Anh Nguyen 聯(lián)合紐約伊薩卡康奈爾大學(xué)的 Jason Yosinski 進(jìn)行的研究表明，也可能使 DNN看到不存在的東西，例如波紋線形式的企鵝 [5]。深度學(xué)習(xí)領(lǐng)域的先驅(qū)、加拿大蒙特利爾大學(xué)的YoshuaBengio表示：“任何跟機(jī)器學(xué)習(xí)打過交道的人都知道這些系統(tǒng)偶爾會(huì)犯一些愚蠢的錯(cuò)誤......然而令人驚訝的是所犯錯(cuò)誤的類型......其中有一些真是令人震驚，并且是我們難以想象會(huì)實(shí)際發(fā)生的錯(cuò)誤?！?/p>
新出現(xiàn)的錯(cuò)誤類型越來越多，并且出現(xiàn)的速度越來越快。去年，現(xiàn)就職于阿拉巴馬州奧本大學(xué)的 Nguyen表明，僅僅是圖像中正在轉(zhuǎn)動(dòng)的目標(biāo)就足以讓周圍一些表現(xiàn)最佳的圖像分類器失效[6]。 Hendrycks 和他的同事在今年的報(bào)告中指出，即使是純樸的自然圖像也仍然可以騙過最先進(jìn)的分類器，使其產(chǎn)生無法預(yù)測的失誤，例如將蘑菇識(shí)別為椒鹽脆餅或?qū)Ⅱ唑炎R(shí)別為井蓋[7]。
問題不僅僅存在于目標(biāo)識(shí)別領(lǐng)域：任何使用DNN來分類輸入（例如語音）的 AI 都可以被愚弄。玩游戲的 AI 也可能會(huì)遭到攻擊：2017年，加州大學(xué)伯克利分校的計(jì)算機(jī)科學(xué)家桑迪·黃（Sandy Huang）以及她的同事，重點(diǎn)研究了經(jīng)過強(qiáng)化學(xué)習(xí)訓(xùn)練最終打敗了電子游戲 Atari的 DNN[8]。這種方法給 AI 設(shè)定了一個(gè)目標(biāo)，與此同時(shí)，通過反復(fù)試驗(yàn)和糾錯(cuò)來學(xué)習(xí)能夠?qū)崿F(xiàn)目標(biāo)的內(nèi)容以響應(yīng)一系列輸入 。它是AlphaZero和撲克機(jī)器人Pluribus等表現(xiàn)超越了人類的游戲 AI 背后的技術(shù)。即便如此，Huang 的團(tuán)隊(duì)仍然可以通過在屏幕上添加一個(gè)或兩個(gè)隨機(jī)像素來使 AI 輸?shù)粲螒颉?/p>
今年早些時(shí)候，加利福尼亞大學(xué)伯克利分校的AI博士生 AdamGleave 和他的同事們證明，有可能將智能體概念引入 AI 環(huán)境中，以執(zhí)行旨在干擾 AI 反應(yīng)的“對(duì)抗策略”[9]。例如，在一個(gè)模擬環(huán)境中訓(xùn)練一個(gè) AI 足球運(yùn)動(dòng)員來將足球踢過 AI 守門員，一旦守門員發(fā)生它無法預(yù)料到的行為（例如倒在地上）時(shí)，那它就失去了將足球踢進(jìn)球門得分的能力。
圖注：一名模擬罰球的AI足球運(yùn)動(dòng)員在AI守門員制定“對(duì)抗策略”跌倒在地（見右圖）時(shí)（見右圖）感到困惑。圖片來源：Adam Gleave / Ref.9
知道 DNN 的弱點(diǎn)在哪里，黑客甚至可以掌控強(qiáng)大的AI。去年就有一個(gè)例子，當(dāng)時(shí)谷歌的一個(gè)團(tuán)隊(duì)表明，使用對(duì)抗樣本不僅可能讓 DNN犯特定的錯(cuò)誤，而且還可以對(duì)其完全重新編程，從而有效地再次利用接受過一項(xiàng)任務(wù)訓(xùn)練的AI 去完成另外一項(xiàng)任務(wù)[3]。
原則上，許多神經(jīng)網(wǎng)絡(luò)，例如那些學(xué)習(xí)理解語言的神經(jīng)網(wǎng)絡(luò)，可以被用于對(duì)任何其他計(jì)算機(jī)程序進(jìn)行編碼。Clune 對(duì)此表示：“從理論上講，您可以將聊天機(jī)器人轉(zhuǎn)成任何所需的程序，這是讓你覺得難以置信的地方?！彼O(shè)想在不久的將來，黑客可能會(huì)劫持云中的神經(jīng)網(wǎng)絡(luò)來運(yùn)行其設(shè)計(jì)的能夠躲過篩掉垃圾郵件的機(jī)器人的算法。
對(duì)于加州大學(xué)伯克利分校的計(jì)算機(jī)科學(xué)家 Dawn Song 而言，DNN就像坐著的鴨子一樣。她說：“攻擊系統(tǒng)的方式有很多，而防守非常非常困難。”
DNN具有強(qiáng)大的功能，它們的多層結(jié)構(gòu)意味著它們?cè)趪L試對(duì)輸入進(jìn)行分類時(shí)可以選擇輸入許多不同特征中的模式。經(jīng)訓(xùn)練用來識(shí)別飛機(jī)的 AI 能夠發(fā)現(xiàn)，諸如色塊、紋理或背景之類的特征，其實(shí)跟我們所認(rèn)為的非常直觀的東西（如機(jī)翼）一樣都是很強(qiáng)的預(yù)測器 。但這也意味著即便輸入只發(fā)生了很小的變化，AI 都可能將其視為情況明顯不同的東西。
一個(gè)解決方案就是給 AI 提供更多數(shù)據(jù)，特別是在要使 AI 反復(fù)面臨存在問題的示例并糾正其錯(cuò)誤時(shí)。在這種“對(duì)抗訓(xùn)練”形式下，一個(gè)網(wǎng)絡(luò)學(xué)會(huì)識(shí)別物體，第二個(gè)網(wǎng)絡(luò)試圖改變第一個(gè)網(wǎng)絡(luò)的輸入，以使其出錯(cuò)。這樣的話，對(duì)抗樣本便成為DNN訓(xùn)練數(shù)據(jù)的一部分。
Hendrycks和他的同事建議通過測試DNN在各種對(duì)抗性樣例中的表現(xiàn)，來量化DNN預(yù)防出錯(cuò)的魯棒性，以此來防止其出錯(cuò)。但是，訓(xùn)練網(wǎng)絡(luò)抵御一種攻擊可能會(huì)削弱它對(duì)抗其他攻擊的能力。倫敦谷歌 DeepMind 的 PushmeetKohli 領(lǐng)導(dǎo)的研究人員正在嘗試增強(qiáng)DNN規(guī)避錯(cuò)誤的能力。許多對(duì)抗性攻擊通過對(duì)輸入的組成部分進(jìn)行細(xì)微調(diào)整，例如巧妙地更改圖像中像素的顏色以此來起作用，直到使得DNN進(jìn)行錯(cuò)誤分類為止。 Kohli的團(tuán)隊(duì)建議，強(qiáng)大的DNN不應(yīng)因其輸入的微小變化而改變輸出，并且從數(shù)學(xué)層面來看，這種屬性可能會(huì)并入網(wǎng)絡(luò)，這樣會(huì)限制其學(xué)習(xí)的方式。
然而，目前還沒有人提出從整體上解決 AI 脆弱性問題的方案。Bengio說，問題的根源在于DNN并沒有很好的模型來識(shí)別到底什么才是重要的內(nèi)容。當(dāng)AI將被篡改的獅子圖像看作開發(fā)庫時(shí)，人們看到的仍然會(huì)是獅子，因?yàn)樗麄儗?duì)于動(dòng)物的心智模型基于一系列高級(jí)特征，如耳朵，尾巴，鬃毛等，這讓他們能夠得以從底層任意或次要的細(xì)節(jié)中將這些特征抽象出來。Bengio表示：“我們從先前的經(jīng)驗(yàn)中知道哪些特征是主要的，而這來自對(duì)世界結(jié)構(gòu)的深刻理解?！?/p>
解決此問題的一種嘗試是將 DNN 與符號(hào) AI 結(jié)合起來，這是人工智能領(lǐng)域在機(jī)器學(xué)習(xí)出現(xiàn)之前所使用的主要范式。借助符號(hào)AI，機(jī)器就可以使用關(guān)于世界如何運(yùn)作的硬編碼規(guī)則進(jìn)行推理，比如說這個(gè)世界涵蓋了離散目標(biāo)，而這些離散目標(biāo)又彼此以各種方式相互關(guān)聯(lián)。
一些研究人員，例如紐約大學(xué)的心理學(xué)家 Gary Marcus 認(rèn)為，混合 AI 模型才是深度學(xué)習(xí)未來發(fā)展的方向?！吧疃葘W(xué)習(xí)在短期內(nèi)是如此有用，以至于人們對(duì)它的長期發(fā)展視而不見。”長期以來對(duì)當(dāng)前深度學(xué)習(xí)方法持批判態(tài)度的 Marcus 如是說道。今年 5 月，他在加利福尼亞州帕洛阿爾托與人共同創(chuàng)立了一家名為 Robust AI 的初創(chuàng)公司，旨在將深度學(xué)習(xí)與基于規(guī)則的 AI 技術(shù)相結(jié)合，以開發(fā)可以與人協(xié)同安全操作的機(jī)器人。公司目前開展的確切工作內(nèi)容仍處于秘密狀態(tài)。
即使可以將規(guī)則嵌入到DNN中，它們的表現(xiàn)也仍然只能達(dá)到與它們學(xué)習(xí)的數(shù)據(jù)一樣好的程度。Bengio說，AI 智能體需要在可進(jìn)行探索的更加豐富的環(huán)境中學(xué)習(xí)。例如，大多數(shù)計(jì)算機(jī)視覺系統(tǒng)無法識(shí)別一罐啤酒是圓柱形的，這是因?yàn)樗鼈兪窃?2D 圖像的數(shù)據(jù)集上進(jìn)行訓(xùn)練的。這就是 Nguyen 及其同事發(fā)現(xiàn)“通過從不同角度呈現(xiàn)熟悉的目標(biāo)來愚弄 DNN ”如此簡單的原因。而讓智能體在真實(shí)或模擬的3D環(huán)境中學(xué)習(xí)，會(huì)對(duì)提高它們的表現(xiàn)有所幫助。
但是，AI 學(xué)習(xí)的方式也需要改變。Bengio 就曾提出：“ 學(xué)習(xí)因果關(guān)系這件事，應(yīng)該由能夠在現(xiàn)實(shí)世界執(zhí)行任務(wù)以及可進(jìn)行試驗(yàn)和探索的智能體來做?！?/p>
另一位深度學(xué)習(xí)的先驅(qū)、位于瑞士曼諾市的 DalleMolle 人工智能研究所的 JürgenSchmidhuber 的思路也類似。他指出，模式識(shí)別非常強(qiáng)大——強(qiáng)大到足以使阿里巴巴、騰訊、亞馬遜、Facebook和Google等公司成為世界上最有價(jià)值的公司。他還說道：“但還將有更大的浪潮到來，那就是將會(huì)出現(xiàn)能夠操控這個(gè)世界并且能夠通過其自身行為創(chuàng)造它們自己的數(shù)據(jù)的機(jī)器?！?/p>
從某種意義上說，使用強(qiáng)化學(xué)習(xí)擊敗電腦游戲的 AI 也已經(jīng)在人工環(huán)境中做到了：通過試驗(yàn)和試錯(cuò)，它們以允許的方式操縱屏幕上的像素，直到達(dá)到目標(biāo)為止。但是實(shí)際環(huán)境比當(dāng)下訓(xùn)練大多數(shù)DNN 所依據(jù)的模擬或策展數(shù)據(jù)集要豐富得多。
在加州大學(xué)伯克利分校的一個(gè)實(shí)驗(yàn)室里，一條機(jī)械臂在混亂中翻騰。它拿起一個(gè)紅色的碗，并用它在右邊幾厘米處輕推一個(gè)藍(lán)色的烤箱手套。隨后，它放下碗拿起一個(gè)空的塑料噴霧瓶。再然后它摸索了一本平裝書的重量和形狀。經(jīng)過幾天的不間斷篩選，機(jī)器人開始對(duì)這些陌生物體以及它們可以做什么有了一定了解。
機(jī)器人手臂正在使用深度學(xué)習(xí)來自學(xué)使用工具。給定一系列物體，它會(huì)撿起并輪流觀察每個(gè)物體，看看當(dāng)它們四處移動(dòng)并用一個(gè)物體撞擊另一個(gè)物體時(shí)會(huì)發(fā)生什么。
機(jī)器人使用深度學(xué)習(xí)來探索如何使用3D工具。圖片來源：AnnieXie
當(dāng)研究人員給機(jī)器人一個(gè)目標(biāo)（例如，給它展示一個(gè)幾乎空的托盤的圖像并指定機(jī)器人布置與該狀態(tài)匹配的物體）時(shí)，它即興發(fā)揮，并且可以處理以前從未見過的物體，例如使用海綿擦拭桌子上的物品。它還發(fā)現(xiàn)，使用塑料水瓶清理物體的方法比直接撿起這些物體要快得多?！芭c其他機(jī)器學(xué)習(xí)技術(shù)相比，深度學(xué)習(xí)能夠?qū)崿F(xiàn)的通用性持續(xù)給我留下深刻的印象，”曾在伯克利實(shí)驗(yàn)室工作的Chelsea Finn 說道，現(xiàn)在他正在加利福尼亞州斯坦福大學(xué)繼續(xù)進(jìn)行這項(xiàng)研究。
Finn 還認(rèn)為，這種學(xué)習(xí)使 AI對(duì)于物體和整個(gè)世界有更豐富的理解。如果你僅在照片中看到過水瓶或海綿，則也許可以在其他圖像中認(rèn)出它們。但是你不會(huì)真正理解它們是什么以及它們應(yīng)該用來做什么。她說：“如果沒有真正與這些物體進(jìn)行互動(dòng)，你對(duì)世界的了解要淺得多?！?/p>
但是，這種學(xué)習(xí)是一個(gè)緩慢的過程。在模擬環(huán)境中，AI 可以以閃電般的速度完成某個(gè)示例任務(wù)。2017年，DeepMind 旗下自學(xué)游戲軟件的最新版本——AlphaZero 在短短一天內(nèi)先后被訓(xùn)練成一個(gè)圍棋、國際象棋和將棋（一種日本象棋）的超人類玩家。在那段時(shí)間，它已經(jīng)在每場游戲比賽接受了超過 2000萬次訓(xùn)練。
AI 機(jī)器人無法快速學(xué)習(xí)。加利福尼亞州伯克利的 AI 機(jī)器人技術(shù)公司 Ambidextrous 的聯(lián)合創(chuàng)始人 JeffMahler 指出，深度學(xué)習(xí)所獲得了多數(shù)成功很大程度上都依賴于大量的數(shù)據(jù)?！皢蝹€(gè)機(jī)器人要想收集數(shù)千萬個(gè)數(shù)據(jù)點(diǎn)，即便連續(xù)執(zhí)行任務(wù)也需要花費(fèi)數(shù)年的時(shí)間。” 此外，數(shù)據(jù)可能會(huì)不可靠，因?yàn)閭鞲衅鞯臉?biāo)定會(huì)隨著時(shí)間而變化，并且硬件可能會(huì)退化。
因此，大多數(shù)涉及深度學(xué)習(xí)的機(jī)器人工作仍使用模擬環(huán)境來加快訓(xùn)練速度。“機(jī)器人究竟能學(xué)到什么依賴于模擬器的性能，”亞特蘭大喬治亞理工學(xué)院機(jī)器人學(xué)博士生DavidKent 說。模擬器的性能一直在提高，與此同時(shí)研究人員也越來越擅長讓機(jī)器人將在虛擬世界中學(xué)到的經(jīng)驗(yàn)遷移到現(xiàn)實(shí)世界中。但是，這種模擬仍然無法滿足現(xiàn)實(shí)世界的復(fù)雜性。
Finn 認(rèn)為，與使用人工數(shù)據(jù)進(jìn)行學(xué)習(xí)相比，使用機(jī)器人進(jìn)行學(xué)習(xí)最終更容易實(shí)現(xiàn)規(guī)?；?。她的一臺(tái)能夠使用工具的機(jī)器人花了幾天時(shí)間來學(xué)習(xí)一個(gè)相對(duì)簡單的任務(wù)，但不需要繁瑣的監(jiān)控。她說：“你只需要運(yùn)行機(jī)器人，然后偶爾檢查一次即可。”她想象著有一天，世界上會(huì)出現(xiàn)很多能夠自行完成任務(wù)并進(jìn)行全天候?qū)W習(xí)的機(jī)器人。這應(yīng)該是可能的——畢竟，這也是人類理解這個(gè)世界的方式。Schmidhuber 說：“嬰兒不會(huì)通過從 Facebook下載數(shù)據(jù)來進(jìn)行學(xué)習(xí)?！?/p>
嬰兒也可以從僅僅幾個(gè)數(shù)據(jù)點(diǎn)中識(shí)別出新的樣本：即使他們以前從未見過長頸鹿，但在看過一次或兩次之后，他們?nèi)阅軌蛘J(rèn)出這就是他們剛剛看過的物體。嬰兒之所以能夠迅速做出反應(yīng)，部分原因是因?yàn)樗麄兛催^許多其他生物，即使（看到的）不是長頸鹿，也已經(jīng)熟悉了它們的主要特征。
授予 AI 這類能力的一個(gè)統(tǒng)稱術(shù)語是遷移學(xué)習(xí)，即將前幾輪訓(xùn)練中獲得的知識(shí)遷移到另一項(xiàng)任務(wù)。一種實(shí)現(xiàn)的方法是在訓(xùn)練新任務(wù)時(shí)，重復(fù)使用部分或全部預(yù)訓(xùn)練的網(wǎng)絡(luò)作為起點(diǎn)。例如，在識(shí)別長頸鹿的學(xué)習(xí)過程中，重復(fù)使用訓(xùn)練過的部分DNN來識(shí)別一種動(dòng)物，例如識(shí)別基本身體形狀的那些層，從而在學(xué)習(xí)識(shí)別長頸鹿時(shí)，為新的網(wǎng)絡(luò)提供邊緣特征。
遷移學(xué)習(xí)的一種極端形式是通過僅使用很少甚至有時(shí)候僅為一個(gè)的樣本來訓(xùn)練新網(wǎng)絡(luò)。這被稱為“小樣本學(xué)習(xí)”或”多次學(xué)習(xí)”，它嚴(yán)重依賴于預(yù)訓(xùn)練的DNN。
假設(shè)你想要?jiǎng)?chuàng)建一個(gè)面部識(shí)別系統(tǒng)來識(shí)別罪犯數(shù)據(jù)庫中的人，一種快速的方法是使用已經(jīng)看到過數(shù)百萬張面孔（不一定是數(shù)據(jù)庫中的面孔）的DNN，以便它對(duì)一些顯著特征，如鼻子和下巴的形狀，有一個(gè)很好的了解?，F(xiàn)在，當(dāng)網(wǎng)絡(luò)僅查看一張新面孔的樣本時(shí)，它可以從該圖像中提取有用的特征集。然后，它可以比較該特征集與罪犯數(shù)據(jù)庫中單個(gè)圖像特征集的相似程度，并找到最接近的匹配項(xiàng)。
擁有利用這種經(jīng)過預(yù)訓(xùn)練的記憶可以幫助 AI 在無需查看很多額外的新模式來識(shí)別新樣本，從而加快機(jī)器人的學(xué)習(xí)速度。但是，當(dāng)此類DNN面臨與其經(jīng)驗(yàn)相距太遠(yuǎn)的樣本時(shí)，仍然可能會(huì)無所適從。目前關(guān)于這些網(wǎng)絡(luò)擁有怎樣的泛化能力，尚未明晰。
即使是最成功的 AI 系統(tǒng)，例如 DeepMind 的AlphaZero，其專業(yè)領(lǐng)域也非常狹窄。雖然可以訓(xùn)練AlphaZero的算法來下圍棋和國際象棋，但兩個(gè)訓(xùn)練是不能同時(shí)進(jìn)行的。需要利用之前在圍棋上的經(jīng)驗(yàn)對(duì)模型的關(guān)聯(lián)性和反應(yīng)能力重新訓(xùn)練，從而能夠利用此前在圍棋上積累的經(jīng)驗(yàn)在國際象棋上取勝。Finn說：“如果你從人的角度來考慮問題，就會(huì)覺得這太荒謬了?！比藗儾粫?huì)輕易忘記自己所學(xué)到的東西。
AlphaZero 在游戲中的成功不僅取決于有效的強(qiáng)化學(xué)習(xí)，還依賴于幫助其學(xué)習(xí)的算法（使用一種稱為“蒙特卡洛樹搜索”技術(shù)的變體），以縮小選擇范圍[10]。 換句話說，就是指導(dǎo) AI 以最佳方法從其周圍的環(huán)境中學(xué)習(xí)。Chollet 認(rèn)為，人工智能接下來重要的一步將是使DNN 擁有能夠編寫自己的此類算法的能力，而不是使用人類提供的代碼。
他認(rèn)為，用推理能力補(bǔ)充基本的模式匹配將讓 AI 更好地處理超出其舒適范圍的輸入。多年來，計(jì)算機(jī)科學(xué)家一直在研究可以使計(jì)算機(jī)自動(dòng)生成代碼的綜合程序。Chollet 認(rèn)為，將該領(lǐng)域與深度學(xué)習(xí)相結(jié)合可能會(huì)導(dǎo)致 DNN 系統(tǒng)更接近人類所用的抽象心理模型。
例如，在機(jī)器人技術(shù)方面，位于加利福尼亞州門洛帕克 Facebook 人工智能研究所的計(jì)算機(jī)科學(xué)家 KristenGrauman 和得克薩斯州奧斯汀的德州大學(xué)研究人員都正在教機(jī)器人如何最佳地自行探索新環(huán)境。例如，這可能涉及到機(jī)器人在遇到一個(gè)新場景時(shí)選擇該往哪個(gè)方向看以及選擇用哪種方法來操作這個(gè)物體從而更好地理解這個(gè)物體的形狀或用途。這一思路是，讓 AI 預(yù)測出：哪個(gè)新的視角或角度將能給予它更多可以從中學(xué)習(xí)的有效的新數(shù)據(jù)。
該領(lǐng)域的研究人員表示，他們?cè)诮鉀Q深度學(xué)習(xí)的缺陷方面，正在取得進(jìn)展，但也承認(rèn)他們?nèi)栽趯で笮录夹g(shù)以減輕該過程的艱巨性。正如 Dawn Song 所說的，深度學(xué)習(xí)背后沒有太多理論支撐，深度學(xué)習(xí)背后沒有太多理論。她說：“一旦失效，便很難找出原因” “整個(gè)領(lǐng)域仍然非常依賴經(jīng)驗(yàn)來進(jìn)行指導(dǎo)，你要做的只是去嘗試一下?！?/p>
目前，盡管科學(xué)家認(rèn)識(shí)到DNN的脆弱性及其對(duì)大量數(shù)據(jù)的依賴性，但是大多數(shù)人還是認(rèn)為該技術(shù)將繼續(xù)存在。近十年來，人們意識(shí)到訓(xùn)練神經(jīng)網(wǎng)絡(luò)利用龐大的計(jì)算資源可以很好地進(jìn)行模式識(shí)別，這仍然是讓人們覺得出乎意料的。然而也正如 Clune 所說的： “沒有人真正知道如何改善它。”。
參考文獻(xiàn)
[1] Eykholt, K. et al. IEEE/CVF Conf. Comp. Vision Pattern Recog. 2018, 1625–1634 (2018)
[2] Finlayson, S. G. et al. Science 363, 1287–1289 (2019)
[3] Elsayed, G.F., Goodfellow, I.&Sohl-Dickstein, J. Preprint at https://arxiv.org/abs/1806.11146 (2018)
[4] Szegedy, C. et al. Preprint at https://arxiv.org/abs/1312.6199v1(2013)
[5] Nguyen, A., Yosinski, J. & Clune, J. IEEE Conf. Comp. Vision Pattern Recog. 2015, 427–436 (2015)
[6] Alcorn, M. A. et al. IEEE Conf. Comp. Vision Pattern Recog. 2019, 4845–4854 (2019)
[7] Hendrycks, D., Zhao, K., Basart, S., Steinhardt, J. & Song, D. Preprint at https://arxiv.org/abs/1907.07174 (2019).
[8] Huang, S., Papernot, N., Goodfellow, I., Duan, Y. &Abbeel, P. Preprint at https://arxiv.org/abs/1702.02284 (2017)
[9] Gleave, A. et al. Preprintat https://arxiv.org/abs/1905.10615(2019)
[10] Silver, D. et al. Science 362, 1140–1144 (2018)
via https://www.nature.com/articles/d41586-019-03013-5
雷鋒網(wǎng) AI 科技評(píng)論編譯。 雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
