編者按：人工智能無處不在。但是在科學家信任人工智能之前，他們首先應該了解這些人工智能機器是如何運作的，這也就是文中所提到的“黑箱”問題。在控制論中，通常把所不知的區(qū)域或系統(tǒng)稱為“黑箱”，研究者們通過觀察輸入和輸出之間的聯(lián)系，嘗試對中間的未知領域進行探究。

本文出自 Nature，作者 Davide Castelvecchi，雷鋒網(wǎng)編譯，未經(jīng)許可不得轉載。

Simon Prades

Dean Pomerleau 還記得自己第一次研究黑箱問題的情景。那是 1991 年，他當時正在做如何命令計算機駕駛的開創(chuàng)性研究，而如今，自動駕駛已經(jīng)成為了一個非常常見的研究領域。

這就意味著，計算機要用悍馬軍用汽車專門改裝的車輪組裝汽車，然后開著這個車穿過馬路。Pomerleau 說，他當時還是卡內(nèi)基梅隆大學的機器人技術研究生。他在悍馬里安裝了一臺編程過的計算機，可以通過攝像機記錄的信息解讀路況，并儲存他對各種路況作出的反應。最后，Pomerleau 希望這臺機器能夠獲得更多關聯(lián)獨立控制駕駛。

在每一次的實驗中，Pomerleau 都會運行系統(tǒng)幾分鐘，然后讓汽車自行駕駛，一切都很順利，直到有一次這輛悍馬靠近一座橋時突然向一邊急轉彎。Pomerleau 趕緊抓住方向盤才得以避免了這場車禍。

回到實驗室，Pomerleau 使勁想到底哪出了問題，“我的課題的一部分就是打開黑箱，研究它是如何思考的，”他解釋說，但是該怎么做呢？他把電腦編程得能像“神經(jīng)網(wǎng)絡”一樣工作，“神經(jīng)網(wǎng)絡”是一種以大腦為模型的人工智能 （AI） ，比基本算法更善于處理復雜的真實世界情況。不幸的是，這樣的神經(jīng)網(wǎng)絡和大腦一樣也會出錯，它們并不會將已經(jīng)學到的內(nèi)容存整齊地儲在數(shù)字存儲模塊中，而是以一種極難解讀的方式將信息散亂地存放著。經(jīng)過大量測試軟件對不同視覺刺激的反應后， Pomerleau 才發(fā)現(xiàn)問題所在：神經(jīng)網(wǎng)絡一直把長滿草的路邊當做向?qū)?，因此突然出現(xiàn)的大橋迷惑了它。

二十五年后，破解黑箱問題的難度急劇增加，也更為緊迫。這項技術本身的復雜性和應用也實現(xiàn)了爆發(fā)性的增長。現(xiàn)在正在卡內(nèi)基梅隆大學兼職教授機器人學的 Pomerleau 將他原來的安裝在小貨車上的系統(tǒng)描述為安裝在如今的機器上的大型神經(jīng)網(wǎng)絡的“窮人版本”。而基于大數(shù)據(jù)集上訓練的神經(jīng)網(wǎng)絡的深層學習技術，也已經(jīng)實現(xiàn)了各類商業(yè)應用，從自動駕駛汽車到推薦用戶瀏覽歷史網(wǎng)頁，不一而足。

它也有望在科學界變得無處不在。深度學習可以幫助未來的無線電天文觀測尋找有價值的信號，否則這么大量的數(shù)據(jù)將無法得到有效的管理；可以理解和消除引力波探測器的最微小的噪聲源；也可以幫助出版商篩選和標記數(shù)百萬的研究論文和書籍。一些研究者認為，配備深度學習的計算機將最終能夠表現(xiàn)出想象力和創(chuàng)造力?！澳阒恍枰o這種機器輸入數(shù)據(jù)，它就能反饋自然規(guī)律給你。”帕薩迪納的加州理工學院的物理學家 Jean-Roch Vlimant 說。

但這樣的進步將會使得黑箱問題變得更尖銳。比如說：機器到底是如何準確找到那些有價值的信號的？誰能確保它是對的？人類能在多大程度上相信深度學習？“我認為我們肯定會輸給這些算法?！奔~約哥倫比亞大學的機器人學家 Hod Lipson 說。他將這個情況比作是在遭遇某種外星生物的情形：它的眼睛的不僅能感受到紅綠藍這些基色，還能感受到第四種顏色。人類會很難理解這種外星人是如何看世界的，外星人也難以向我們解釋清楚。計算機在向我們解釋事物上會存在類似的困難，他說：“在某種程度上，這就像是向一只狗解釋莎士比亞是誰?！?/strong>

面對這樣的挑戰(zhàn)，人工智能研究者給出的回應和 Pomerleau 的回應一樣——通過打開黑箱和類似神經(jīng)科學內(nèi)的做法來理解網(wǎng)絡的內(nèi)部。答案也可能不對，位于瑞士日內(nèi)瓦附近的歐洲粒子物理學實驗室 CERN 的一位物理學家 Vincenzo Innocente 說，他是人工智能這一領域應用的開拓者，“作為一位科學家，只是將貓和狗分開并不能讓我滿意。一位科學家應該能夠說出區(qū)別到底在哪。”

| 探索之路

第一個人工神經(jīng)網(wǎng)絡誕生于 20 世紀 50 年代早期，那時候計算機才差不多剛剛能夠執(zhí)行算法。其背后的思想是模擬“神經(jīng)元”這一小型計算單元，它們以層級的形式進行排布，通過大量數(shù)字“突觸”進行連接。底層的每個單元都能接收外部數(shù)據(jù)（如圖像中的像素），然后將其信息分配給下一層中的一些或所有單元。接下來，第二層中的每一個單元就通過一種簡單的數(shù)學規(guī)則整合來自第一層的數(shù)據(jù)，并將結果傳遞給第三層、第四層。最后，頂層得出一個答案——比如說，將原始圖像歸類為“貓”或“狗”。

Design: Nik Spencer/Nature; 

Photos: Keith McDuffee/flickr/CC BY; djhumster/flickr/CC BY-SA; Bernard Dupont; Linda Stanley; Phil Fiddyment/Flickr/CC BY

這種網(wǎng)絡的力量來自于它們的學習能力。給定一個帶有正確答案的訓練數(shù)據(jù)集，它們可以通過調(diào)整每個連接的強度而逐漸優(yōu)化它們的行為，直到它們的頂層輸出是正確的。這個過程模擬了大腦通過強化或調(diào)整突觸來進行學習的方式，最終形成一個能成功分類來自訓練數(shù)據(jù)集之外的新數(shù)據(jù)的網(wǎng)絡。

在 20 世紀 90 年代，CERN 的物理學家對學習能力很感興趣，那個時候他們是第一批經(jīng)常使用大規(guī)模神經(jīng)網(wǎng)絡進行科研的人：事實證明神經(jīng)網(wǎng)絡對于重建來自 CERN 的大型強子對撞機（Large Hadron Collider）中粒子對撞所產(chǎn)生的亞原子碎片的軌跡，能夠帶來巨大的幫助。

但這種學習的形式也是其網(wǎng)絡中的信息如此散亂的原因：就像在大腦中一樣，記憶被編碼在多元連接的強度中，沒有像常規(guī)的數(shù)據(jù)庫一樣存儲在特定的位置。“你電話號碼的第一個數(shù)字存儲在你大腦的哪里？可能是在一堆突觸中，也可能在離其它數(shù)字不遠的位置?！奔又荽髮W歐文分校的機器學習研究者 Pierre Baldi 說。但一個編碼了這些數(shù)字的明確定義的比特序列是不存在的。由此，正如拉勒米市的懷俄明大學的計算機科學家 Jeff Clune 說的那樣：“即使我們做出了這些網(wǎng)絡系統(tǒng)，我們也沒有比人腦更能理解它們。”

對于需要在自身學科處理大數(shù)據(jù)的科學家而言，這個問題讓他們在使用深度學習時非常謹慎。為什么呢？英國牛津大學的一位計算機科學家 Andrea Vedaldi 說：想象一下在不遠的將來，人們使用舊的乳房 X 光片訓練了一個深度學習神經(jīng)網(wǎng)絡，這些乳房 X 光片根據(jù)哪些女性患有乳腺癌而進行了標注。Vedaldi 說，在訓練之后，一位明顯健康的女性的組織在機器“看”來可能已經(jīng)是癌變了的。他說：“這個神經(jīng)網(wǎng)絡可能已經(jīng)學會了如何識別內(nèi)在的標志——這些標志是我們不知道的特征，但那卻可以預測癌癥?！?/span>

但如果這個機器不能解釋它是怎樣知道的，Vedaldi 說，醫(yī)生和病人都會面臨嚴重的困境。因為她們有顯著增加患癌風險的變異基因，但如果不知道風險因素是什么，做決定就會更難——即使機器的預測十分準確。

“問題在于知識是在網(wǎng)絡之中形成的，而不是在我們之中，”在華盛頓州西雅圖市谷歌的生物物理學家和程序員 Michael Tyka 說，“我們真正理解了任何東西嗎？并沒有——但是這種神經(jīng)網(wǎng)絡做到了。”

一些研究團隊在 2012 年開始深入研究黑箱問題。加拿大多倫多大學的一位機器學習專家 Geoffrey Hinton 帶領的一個團隊參加了一場計算機視覺競賽，并第一次證明了深度學習在 120 萬張圖像的數(shù)據(jù)庫上的分類能力遠超其它人工智能方法。

為了深入理解它的實現(xiàn)方式，Vedaldi 的團隊使用了 Hinton 開發(fā)的算法從根本上反向運行神經(jīng)網(wǎng)絡，從而優(yōu)化神經(jīng)網(wǎng)絡的訓練。該團隊沒有教網(wǎng)絡如何正確解讀圖像，而是開始提前訓練的網(wǎng)絡并嘗試重建生成它們的圖像。這幫助研究者確定了機器表征各種特征的方式——就像他們詢問一個不確定的癌癥識別網(wǎng)絡：“這個乳房 X 光片的哪個部分讓你確定其是癌癥風險的標志？”

去年，Tyka 和 Google 的研究員根據(jù)類似的方法也得出了最終結論。他們把他們的算法稱為 Deep Dream，從一個圖形開始，好比說一朵花或者一個沙灘，通過修改它來提高特定的頂級神經(jīng)元的反應。

例如，如果神經(jīng)元想要標記一張鳥類的圖片，那么修改后的圖片就會在各處都顯示鳥類。從漸變的鳥類的臉部到各種建筑等，生成的這些圖片都會讓你體驗到嗑藥般的致幻效果。

身為藝術家的 Tyka 說道：“我認為這更像是一個幻覺，而不是一個夢。”當他的團隊看到其他人也有潛力通過這種算法創(chuàng)造新事物時，他們就讓這種算法變成人人都能下載得到的資源。幾天之內(nèi)，Deep Dream 迅速開始在網(wǎng)上流行。

除了那些頂級神經(jīng)元，使用技術可以將所有神經(jīng)元的反應最大化。Clune 的團隊在 2014 年發(fā)現(xiàn)黑箱問題可能比預期的更為糟糕：神經(jīng)網(wǎng)絡非常容易被人類理解上的誤差所欺騙，比如隨機噪聲或是抽象的幾何圖案。例如，一個神經(jīng)網(wǎng)絡在看到扭動的線條時，它可能會誤認為是海星；當它看到黑黃相間的線條時，它又會誤以為這是輛校車。此外，在不同數(shù)據(jù)集里訓練的模式會在神經(jīng)網(wǎng)絡里引發(fā)相同的反應。

研究人員已經(jīng)提出了很多方法來解決這個所謂“欺騙”的問題，但到目前為止還沒有通用的解決方案。而在現(xiàn)實生活中，這是很危險的。Clune 說，如果惡意的黑客們能夠?qū)W會利用這些漏洞犯罪的話那將是十分可怕的。他們可以讓一輛自動駕駛汽車把一塊廣告牌當成一條道路從而引發(fā)車禍，也可以讓白宮的視網(wǎng)膜掃描儀誤以為入侵者是奧巴馬而讓其通過。

“我們正在想辦法讓機器學習變得更強大更智能?！盋lune 總結道。

由于這些問題的出現(xiàn)，一些計算機科學家們認為，深度學習神經(jīng)網(wǎng)絡不該是目前業(yè)界的唯一技術。一個名叫 Zoubin Ghahramani 的劍橋機器學習研究員認為，人工智能的存在是為了讓人類更容易地理解問題，但是，“對于很多問題來言，深度學習并不是那個解決問題最終的答案。”

Lipson 和 一位計算機生物學家 Michael Schmidt 在 2009 年在紐約的康奈爾大學首次提出一個相對透明的科研方法。他們的算法被稱作 Eureqa，它可以僅通過觀察一個相對簡單的機械對象（一個鐘擺運動系統(tǒng)）來重新發(fā)現(xiàn)牛頓定律。

Eureqa 會遵循一套受達爾文進化論啟發(fā)的試錯法來調(diào)整，從一個隨機的數(shù)學模塊組合開始，例如加號、減號和正余弦，直到最終的結果能夠最準確地描述數(shù)據(jù)表達公式。隨后，Eureqa 還會提出測試模型的實驗方法。Lipson 認為這種方法的優(yōu)點之一就是簡單，“Eureqa 生成的一個模型通常有 12 個參數(shù)，而一套神經(jīng)網(wǎng)絡卻有數(shù)百萬個?！?/span>

| 關于 autopilot

去年，Ghahramani 發(fā)表了一個可以自動化數(shù)據(jù)科學家工作的算法，從查看各種方式得到的原始數(shù)據(jù)到撰寫論文。他這款被稱為 Automatic Statistician 的軟件，指出了數(shù)據(jù)集中的趨勢和異常，并給出了它的結論，包括一個關于它推理的詳細解釋。Ghahramani 認為，透明度對于應用科學而言是至關重要的，但對于很多商業(yè)應用來說透明度也是同等重要的。例如，在很多國家，銀行可以拒絕向你貸款并可以給出法律依據(jù)，而深度學習算法是做不到這樣的。

來自大數(shù)據(jù)公司 Arundo Analytics 的數(shù)據(jù)科學帶頭人Ellie Dobson 認為，很多其他機構中也存在類似的擔憂。如果有類似英國匯率設置錯誤的問題出現(xiàn)，英國央行并不能說“這是黑箱讓我這么做的”。

盡管擔憂存在，但計算機科學家們?nèi)匀徽J為，努力地開發(fā)透明的人工智能是對深度學習的補充，而不是替代。他們認為，雖然透明技術不善于感知從原始數(shù)據(jù)中提取事實的過程，但是它們可能會適用于解決既定的抽象事實問題。

最后，這些研究人員認為，機器學習的復雜答案是科學工具集中必不可少的一部分，因為現(xiàn)實世界是如此的復雜，例如天氣和股票市場等現(xiàn)象，一個簡單的、捏合的描述甚至都可能不存在。

“有些事情我們無法通過語言來表達。”一位名叫 Stéphane Malla 的巴黎理工學院應用數(shù)學家說道，“當你問醫(yī)生為什么這樣給他診斷的時候，他就要給出一些答案，但為什么需要花 20 年才能成為一個好醫(yī)生呢？因為信息不僅僅只存在于書本上?！?/span>

對于 Baldi 而言，科學家應該接受深度學習沒有完全和黑箱混為一談的事實。畢竟，他們的腦中都有著這么一個黑箱。

“大腦一直在為你工作，你也一直信任它，但你卻不知道大腦是如何工作的?！?/span>

via nature

推薦閱讀：

現(xiàn)實版《黑鏡》上演！這位程序媛用 AI 讓已故基友“永生”

用自然語言處理看希拉里、特朗普演講，各自“什么范兒”

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉載。詳情見轉載須知。