雷鋒網(wǎng) AI 科技評(píng)論報(bào)道：位于日本的國際電氣通信基礎(chǔ)技術(shù)研究所（ATR）的計(jì)算神經(jīng)科學(xué)實(shí)驗(yàn)室和京都大學(xué)日前聯(lián)合發(fā)布了一篇論文，他們可以借助 fMRI（功能性磁共振成像）技術(shù)和基于深度學(xué)習(xí)的算法根據(jù)人的大腦活動(dòng)重建人類看到的圖像。雷鋒網(wǎng) AI 科技評(píng)論把論文簡(jiǎn)介如下

在論文《Deep image reconstruction from human brain activity》（根據(jù)人類大腦活動(dòng)進(jìn)行深度圖像重建）中，作者們介紹道：「這個(gè)重建算法可以從一張隨機(jī)圖像出發(fā)，迭代地優(yōu)化其中的像素值，最終讓這張圖像經(jīng)過深度神經(jīng)網(wǎng)絡(luò)之后產(chǎn)生的特征和大腦活動(dòng)經(jīng)過特征解碼后得到的多層特征類似。最終得到的優(yōu)化圖像就可以看作是對(duì)大腦活動(dòng)的重建?！?/p>

模型總體結(jié)構(gòu)：用于提取圖像特征的 DNN 網(wǎng)絡(luò)會(huì)提取圖像特征，然后與解碼出的人類大腦活動(dòng)特征進(jìn)行對(duì)比，根據(jù)兩者的誤差引導(dǎo)用于重建圖像的 DGN 網(wǎng)絡(luò)迭代優(yōu)化圖像，最終得到重建結(jié)果。

為了收集訓(xùn)練數(shù)據(jù)，研究員們讓被試者觀看圖像，用 fMRI 記錄下他們當(dāng)時(shí)的大腦活動(dòng)。觀看的圖像樣本包括幾何圖形、自然世界照片和字母；采集數(shù)據(jù)前后共花了 10 個(gè)月時(shí)間。

重建出的部分圖像請(qǐng)見下方動(dòng)圖。

逐步迭代生成重建圖像

英文字母的重建結(jié)果

作者們用了許多不同的圖像輸入做了測(cè)試。可以看到每個(gè)類別的重建結(jié)果都和原圖差別不小，但已經(jīng)體現(xiàn)出了不小的區(qū)分度?？紤]到 fMRI 能采集到的信息有限，同時(shí)人的視覺皮層的工作機(jī)理也還沒完全研究明了，這樣的結(jié)果已經(jīng)足以令人眼前一亮了。

原論文地址：https://www.biorxiv.org/content/early/2017/12/30/240317 

論文摘要：用基于機(jī)器學(xué)習(xí)的方法分析人類 fMRI 的圖樣模式已經(jīng)讓可視化人類意識(shí)中的內(nèi)容變得可能。不過，之前的研究都僅限于低層次的基礎(chǔ)圖像元素，或者只是成功匹配了典型樣例。近期的一些工作已經(jīng)展現(xiàn)出，人類大腦視覺皮層的活動(dòng)可以被解碼（翻譯）為深度神經(jīng)網(wǎng)絡(luò)的不同層級(jí)的特征，這就給利用層次化視覺特征帶來了新的方法。

在這篇論文中，作者們展示了一種全新的圖像重建方法：在采集人類大腦活動(dòng)并將其解碼為多層特征之后，可以用優(yōu)化手段生成新的圖像，讓新的圖像的深度神經(jīng)網(wǎng)絡(luò)特征和前面解碼出的特征相似。作者們發(fā)現(xiàn)，這樣優(yōu)化得到的圖像和輸入圖像（fMRI 成像期間給人類測(cè)試者看的刺激圖像）很類似，不僅圖像本身的外觀類似，對(duì)圖像中內(nèi)容的主觀理解也類似。盡管作者們僅僅使用了日常照片訓(xùn)練模型，他們的方法還是可以成功泛化到人造形狀的重建中，這表明他們的方法確實(shí)可以根據(jù)人腦活動(dòng)「重建」或者「生成」圖像，而不是簡(jiǎn)單匹配了典型樣例。在生成圖像過程中，生成模型附加了一些讓重建的圖像更且像自然圖像的限制，這樣就以一種高效的方法讓重建的圖像帶有了具有語意意義的細(xì)節(jié)。根據(jù)人類觀察的反饋，綜合神經(jīng)網(wǎng)絡(luò)中多個(gè)不同的層的特征形成的圖像比只用單個(gè)層的圖像具有更高的視覺質(zhì)量?？偟膩碚f，這項(xiàng)研究表明人類大腦的層級(jí)化視覺信息可以被高效地綜合利用，重建出感知性的、主觀的圖像。

via NVIDIA Developer News，雷鋒網(wǎng) AI 科技評(píng)論編譯

相關(guān)文章：

DARPA 撥款 6500 萬美元用于腦機(jī)接口研發(fā)，一起來看各頂尖研究機(jī)構(gòu)的腦洞

近距離接觸類腦計(jì)算，看腦機(jī)接口如何走向腦機(jī)融合|CCF-ADL 新課報(bào)名中

專訪腦機(jī)接口研究先驅(qū)米格爾 ? 尼科萊利斯：馬斯克的觀點(diǎn)我不同意

要做好腦機(jī)接口技術(shù)，馬斯克和扎克伯格還差一本“菜譜”

盤點(diǎn) | 過去一年拿到融資的腦機(jī)接口玩家

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。