編者按：人工智能無處不在。但是在科學(xué)家信任人工智能之前，他們首先應(yīng)該了解這些人工智能機器是如何運作的，這也就是文中所提到的“黑箱”問題。在控制論中，通常把所不知的區(qū)域或系統(tǒng)稱為“黑箱”，研究者們通過觀察輸入和輸出之間的聯(lián)系，嘗試對中間的未知領(lǐng)域進行探究。

本文出自 Nature，作者 Davide Castelvecchi，雷鋒網(wǎng)編譯，未經(jīng)許可不得轉(zhuǎn)載。

Simon Prades

Dean Pomerleau 還記得自己第一次研究黑箱問題的情景。那是 1991 年，他當時正在做如何命令計算機駕駛的開創(chuàng)性研究，而如今，自動駕駛已經(jīng)成為了一個非常常見的研究領(lǐng)域。

這就意味著，計算機要用悍馬軍用汽車專門改裝的車輪組裝汽車，然后開著這個車穿過馬路。Pomerleau 說，他當時還是卡內(nèi)基梅隆大學(xué)的機器人技術(shù)研究生。他在悍馬里安裝了一臺編程過的計算機，可以通過攝像機記錄的信息解讀路況，并儲存他對各種路況作出的反應(yīng)。最后，Pomerleau 希望這臺機器能夠獲得更多關(guān)聯(lián)獨立控制駕駛。

在每一次的實驗中，Pomerleau 都會運行系統(tǒng)幾分鐘，然后讓汽車自行駕駛，一切都很順利，直到有一次這輛悍馬靠近一座橋時突然向一邊急轉(zhuǎn)彎。Pomerleau 趕緊抓住方向盤才得以避免了這場車禍。

回到實驗室，Pomerleau 使勁想到底哪出了問題，“我的課題的一部分就是打開黑箱，研究它是如何思考的，”他解釋說，但是該怎么做呢？他把電腦編程得能像“神經(jīng)網(wǎng)絡(luò)”一樣工作，“神經(jīng)網(wǎng)絡(luò)”是一種以大腦為模型的人工智能 （AI） ，比基本算法更善于處理復(fù)雜的真實世界情況。不幸的是，這樣的神經(jīng)網(wǎng)絡(luò)和大腦一樣也會出錯，它們并不會將已經(jīng)學(xué)到的內(nèi)容存整齊地儲在數(shù)字存儲模塊中，而是以一種極難解讀的方式將信息散亂地存放著。經(jīng)過大量測試軟件對不同視覺刺激的反應(yīng)后， Pomerleau 才發(fā)現(xiàn)問題所在：神經(jīng)網(wǎng)絡(luò)一直把長滿草的路邊當做向?qū)?，因此突然出現(xiàn)的大橋迷惑了它。

二十五年后，破解黑箱問題的難度急劇增加，也更為緊迫。這項技術(shù)本身的復(fù)雜性和應(yīng)用也實現(xiàn)了爆發(fā)性的增長?，F(xiàn)在正在卡內(nèi)基梅隆大學(xué)兼職教授機器人學(xué)的 Pomerleau 將他原來的安裝在小貨車上的系統(tǒng)描述為安裝在如今的機器上的大型神經(jīng)網(wǎng)絡(luò)的“窮人版本”。而基于大數(shù)據(jù)集上訓(xùn)練的神經(jīng)網(wǎng)絡(luò)的深層學(xué)習(xí)技術(shù)，也已經(jīng)實現(xiàn)了各類商業(yè)應(yīng)用，從自動駕駛汽車到推薦用戶瀏覽歷史網(wǎng)頁，不一而足。

它也有望在科學(xué)界變得無處不在。深度學(xué)習(xí)可以幫助未來的無線電天文觀測尋找有價值的信號，否則這么大量的數(shù)據(jù)將無法得到有效的管理；可以理解和消除引力波探測器的最微小的噪聲源；也可以幫助出版商篩選和標記數(shù)百萬的研究論文和書籍。一些研究者認為，配備深度學(xué)習(xí)的計算機將最終能夠表現(xiàn)出想象力和創(chuàng)造力。“你只需要給這種機器輸入數(shù)據(jù)，它就能反饋自然規(guī)律給你?！迸了_迪納的加州理工學(xué)院的物理學(xué)家 Jean-Roch Vlimant 說。

但這樣的進步將會使得黑箱問題變得更尖銳。比如說：機器到底是如何準確找到那些有價值的信號的？誰能確保它是對的？人類能在多大程度上相信深度學(xué)習(xí)？“我認為我們肯定會輸給這些算法?！奔~約哥倫比亞大學(xué)的機器人學(xué)家 Hod Lipson 說。他將這個情況比作是在遭遇某種外星生物的情形：它的眼睛的不僅能感受到紅綠藍這些基色，還能感受到第四種顏色。人類會很難理解這種外星人是如何看世界的，外星人也難以向我們解釋清楚。計算機在向我們解釋事物上會存在類似的困難，他說：“在某種程度上，這就像是向一只狗解釋莎士比亞是誰。”

面對這樣的挑戰(zhàn)，人工智能研究者給出的回應(yīng)和 Pomerleau 的回應(yīng)一樣——通過打開黑箱和類似神經(jīng)科學(xué)內(nèi)的做法來理解網(wǎng)絡(luò)的內(nèi)部。答案也可能不對，位于瑞士日內(nèi)瓦附近的歐洲粒子物理學(xué)實驗室 CERN 的一位物理學(xué)家 Vincenzo Innocente 說，他是人工智能這一領(lǐng)域應(yīng)用的開拓者，“作為一位科學(xué)家，只是將貓和狗分開并不能讓我滿意。一位科學(xué)家應(yīng)該能夠說出區(qū)別到底在哪?！?/span>

| 探索之路

第一個人工神經(jīng)網(wǎng)絡(luò)誕生于 20 世紀 50 年代早期，那時候計算機才差不多剛剛能夠執(zhí)行算法。其背后的思想是模擬“神經(jīng)元”這一小型計算單元，它們以層級的形式進行排布，通過大量數(shù)字“突觸”進行連接。底層的每個單元都能接收外部數(shù)據(jù)（如圖像中的像素），然后將其信息分配給下一層中的一些或所有單元。接下來，第二層中的每一個單元就通過一種簡單的數(shù)學(xué)規(guī)則整合來自第一層的數(shù)據(jù)，并將結(jié)果傳遞給第三層、第四層。最后，頂層得出一個答案——比如說，將原始圖像歸類為“貓”或“狗”。

Design: Nik Spencer/Nature; 

Photos: Keith McDuffee/flickr/CC BY; djhumster/flickr/CC BY-SA; Bernard Dupont; Linda Stanley; Phil Fiddyment/Flickr/CC BY

這種網(wǎng)絡(luò)的力量來自于它們的學(xué)習(xí)能力。給定一個帶有正確答案的訓(xùn)練數(shù)據(jù)集，它們可以通過調(diào)整每個連接的強度而逐漸優(yōu)化它們的行為，直到它們的頂層輸出是正確的。這個過程模擬了大腦通過強化或調(diào)整突觸來進行學(xué)習(xí)的方式，最終形成一個能成功分類來自訓(xùn)練數(shù)據(jù)集之外的新數(shù)據(jù)的網(wǎng)絡(luò)。

在 20 世紀 90 年代，CERN 的物理學(xué)家對學(xué)習(xí)能力很感興趣，那個時候他們是第一批經(jīng)常使用大規(guī)模神經(jīng)網(wǎng)絡(luò)進行科研的人：事實證明神經(jīng)網(wǎng)絡(luò)對于重建來自 CERN 的大型強子對撞機（Large Hadron Collider）中粒子對撞所產(chǎn)生的亞原子碎片的軌跡，能夠帶來巨大的幫助。

但這種學(xué)習(xí)的形式也是其網(wǎng)絡(luò)中的信息如此散亂的原因：就像在大腦中一樣，記憶被編碼在多元連接的強度中，沒有像常規(guī)的數(shù)據(jù)庫一樣存儲在特定的位置。“你電話號碼的第一個數(shù)字存儲在你大腦的哪里？可能是在一堆突觸中，也可能在離其它數(shù)字不遠的位置。”加州大學(xué)歐文分校的機器學(xué)習(xí)研究者 Pierre Baldi 說。但一個編碼了這些數(shù)字的明確定義的比特序列是不存在的。由此，正如拉勒米市的懷俄明大學(xué)的計算機科學(xué)家 Jeff Clune 說的那樣：“即使我們做出了這些網(wǎng)絡(luò)系統(tǒng)，我們也沒有比人腦更能理解它們。”

對于需要在自身學(xué)科處理大數(shù)據(jù)的科學(xué)家而言，這個問題讓他們在使用深度學(xué)習(xí)時非常謹慎。為什么呢？英國牛津大學(xué)的一位計算機科學(xué)家 Andrea Vedaldi 說：想象一下在不遠的將來，人們使用舊的乳房 X 光片訓(xùn)練了一個深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，這些乳房 X 光片根據(jù)哪些女性患有乳腺癌而進行了標注。Vedaldi 說，在訓(xùn)練之后，一位明顯健康的女性的組織在機器“看”來可能已經(jīng)是癌變了的。他說：“這個神經(jīng)網(wǎng)絡(luò)可能已經(jīng)學(xué)會了如何識別內(nèi)在的標志——這些標志是我們不知道的特征，但那卻可以預(yù)測癌癥?！?/span>

但如果這個機器不能解釋它是怎樣知道的，Vedaldi 說，醫(yī)生和病人都會面臨嚴重的困境。因為她們有顯著增加患癌風(fēng)險的變異基因，但如果不知道風(fēng)險因素是什么，做決定就會更難——即使機器的預(yù)測十分準確。

“問題在于知識是在網(wǎng)絡(luò)之中形成的，而不是在我們之中，”在華盛頓州西雅圖市谷歌的生物物理學(xué)家和程序員 Michael Tyka 說，“我們真正理解了任何東西嗎？并沒有——但是這種神經(jīng)網(wǎng)絡(luò)做到了?！?/span>

一些研究團隊在 2012 年開始深入研究黑箱問題。加拿大多倫多大學(xué)的一位機器學(xué)習(xí)專家 Geoffrey Hinton 帶領(lǐng)的一個團隊參加了一場計算機視覺競賽，并第一次證明了深度學(xué)習(xí)在 120 萬張圖像的數(shù)據(jù)庫上的分類能力遠超其它人工智能方法。

為了深入理解它的實現(xiàn)方式，Vedaldi 的團隊使用了 Hinton 開發(fā)的算法從根本上反向運行神經(jīng)網(wǎng)絡(luò)，從而優(yōu)化神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。該團隊沒有教網(wǎng)絡(luò)如何正確解讀圖像，而是開始提前訓(xùn)練的網(wǎng)絡(luò)并嘗試重建生成它們的圖像。這幫助研究者確定了機器表征各種特征的方式——就像他們詢問一個不確定的癌癥識別網(wǎng)絡(luò)：“這個乳房 X 光片的哪個部分讓你確定其是癌癥風(fēng)險的標志？”

去年，Tyka 和 Google 的研究員根據(jù)類似的方法也得出了最終結(jié)論。他們把他們的算法稱為 Deep Dream，從一個圖形開始，好比說一朵花或者一個沙灘，通過修改它來提高特定的頂級神經(jīng)元的反應(yīng)。

例如，如果神經(jīng)元想要標記一張鳥類的圖片，那么修改后的圖片就會在各處都顯示鳥類。從漸變的鳥類的臉部到各種建筑等，生成的這些圖片都會讓你體驗到嗑藥般的致幻效果。

身為藝術(shù)家的 Tyka 說道：“我認為這更像是一個幻覺，而不是一個夢?！碑斔膱F隊看到其他人也有潛力通過這種算法創(chuàng)造新事物時，他們就讓這種算法變成人人都能下載得到的資源。幾天之內(nèi)，Deep Dream 迅速開始在網(wǎng)上流行。

除了那些頂級神經(jīng)元，使用技術(shù)可以將所有神經(jīng)元的反應(yīng)最大化。Clune 的團隊在 2014 年發(fā)現(xiàn)黑箱問題可能比預(yù)期的更為糟糕：神經(jīng)網(wǎng)絡(luò)非常容易被人類理解上的誤差所欺騙，比如隨機噪聲或是抽象的幾何圖案。例如，一個神經(jīng)網(wǎng)絡(luò)在看到扭動的線條時，它可能會誤認為是海星；當它看到黑黃相間的線條時，它又會誤以為這是輛校車。此外，在不同數(shù)據(jù)集里訓(xùn)練的模式會在神經(jīng)網(wǎng)絡(luò)里引發(fā)相同的反應(yīng)。

研究人員已經(jīng)提出了很多方法來解決這個所謂“欺騙”的問題，但到目前為止還沒有通用的解決方案。而在現(xiàn)實生活中，這是很危險的。Clune 說，如果惡意的黑客們能夠?qū)W會利用這些漏洞犯罪的話那將是十分可怕的。他們可以讓一輛自動駕駛汽車把一塊廣告牌當成一條道路從而引發(fā)車禍，也可以讓白宮的視網(wǎng)膜掃描儀誤以為入侵者是奧巴馬而讓其通過。

“我們正在想辦法讓機器學(xué)習(xí)變得更強大更智能?！盋lune 總結(jié)道。

由于這些問題的出現(xiàn)，一些計算機科學(xué)家們認為，深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)不該是目前業(yè)界的唯一技術(shù)。一個名叫 Zoubin Ghahramani 的劍橋機器學(xué)習(xí)研究員認為，人工智能的存在是為了讓人類更容易地理解問題，但是，“對于很多問題來言，深度學(xué)習(xí)并不是那個解決問題最終的答案?！?/span>

Lipson 和 一位計算機生物學(xué)家 Michael Schmidt 在 2009 年在紐約的康奈爾大學(xué)首次提出一個相對透明的科研方法。他們的算法被稱作 Eureqa，它可以僅通過觀察一個相對簡單的機械對象（一個鐘擺運動系統(tǒng)）來重新發(fā)現(xiàn)牛頓定律。

Eureqa 會遵循一套受達爾文進化論啟發(fā)的試錯法來調(diào)整，從一個隨機的數(shù)學(xué)模塊組合開始，例如加號、減號和正余弦，直到最終的結(jié)果能夠最準確地描述數(shù)據(jù)表達公式。隨后，Eureqa 還會提出測試模型的實驗方法。Lipson 認為這種方法的優(yōu)點之一就是簡單，“Eureqa 生成的一個模型通常有 12 個參數(shù)，而一套神經(jīng)網(wǎng)絡(luò)卻有數(shù)百萬個。”

| 關(guān)于 autopilot

去年，Ghahramani 發(fā)表了一個可以自動化數(shù)據(jù)科學(xué)家工作的算法，從查看各種方式得到的原始數(shù)據(jù)到撰寫論文。他這款被稱為 Automatic Statistician 的軟件，指出了數(shù)據(jù)集中的趨勢和異常，并給出了它的結(jié)論，包括一個關(guān)于它推理的詳細解釋。Ghahramani 認為，透明度對于應(yīng)用科學(xué)而言是至關(guān)重要的，但對于很多商業(yè)應(yīng)用來說透明度也是同等重要的。例如，在很多國家，銀行可以拒絕向你貸款并可以給出法律依據(jù)，而深度學(xué)習(xí)算法是做不到這樣的。

來自大數(shù)據(jù)公司 Arundo Analytics 的數(shù)據(jù)科學(xué)帶頭人Ellie Dobson 認為，很多其他機構(gòu)中也存在類似的擔(dān)憂。如果有類似英國匯率設(shè)置錯誤的問題出現(xiàn)，英國央行并不能說“這是黑箱讓我這么做的”。

盡管擔(dān)憂存在，但計算機科學(xué)家們?nèi)匀徽J為，努力地開發(fā)透明的人工智能是對深度學(xué)習(xí)的補充，而不是替代。他們認為，雖然透明技術(shù)不善于感知從原始數(shù)據(jù)中提取事實的過程，但是它們可能會適用于解決既定的抽象事實問題。

最后，這些研究人員認為，機器學(xué)習(xí)的復(fù)雜答案是科學(xué)工具集中必不可少的一部分，因為現(xiàn)實世界是如此的復(fù)雜，例如天氣和股票市場等現(xiàn)象，一個簡單的、捏合的描述甚至都可能不存在。

“有些事情我們無法通過語言來表達?！币晃幻?Stéphane Malla 的巴黎理工學(xué)院應(yīng)用數(shù)學(xué)家說道，“當你問醫(yī)生為什么這樣給他診斷的時候，他就要給出一些答案，但為什么需要花 20 年才能成為一個好醫(yī)生呢？因為信息不僅僅只存在于書本上?！?/span>

對于 Baldi 而言，科學(xué)家應(yīng)該接受深度學(xué)習(xí)沒有完全和黑箱混為一談的事實。畢竟，他們的腦中都有著這么一個黑箱。

“大腦一直在為你工作，你也一直信任它，但你卻不知道大腦是如何工作的?！?/span>

via nature

推薦閱讀：

現(xiàn)實版《黑鏡》上演！這位程序媛用 AI 讓已故基友“永生”

用自然語言處理看希拉里、特朗普演講，各自“什么范兒”

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。