美國加州大學(xué)舊金山分校的科學(xué)家，已經(jīng)訓(xùn)練出一種算法，可以直接將受試者的腦電波實(shí)時(shí)翻譯成句子，錯(cuò)誤率僅為 3% 。

這項(xiàng)研究發(fā)表在《自然神經(jīng)科學(xué)》（Nature Neuroscience）雜志上，他們招募了 4 位志愿者，這些志愿者被要求多次朗讀 30-50 個(gè)固定句子，而電極記錄下他們的大腦活動(dòng)。[1]

【 雷鋒網(wǎng)注：人類對(duì)大腦所知甚少。圖片來源：Pixabay  所有者：Gerd Altmann 】

這些數(shù)據(jù)隨后被輸入到機(jī)器學(xué)習(xí)算法，它將每個(gè)句子的大腦活動(dòng)數(shù)據(jù)轉(zhuǎn)換成一串?dāng)?shù)字和字符串。

系統(tǒng)從這些大腦活動(dòng)數(shù)據(jù)再推導(dǎo)出聲音，并和實(shí)際記錄的音頻進(jìn)行比較。數(shù)字和字符串則被再次輸入到系統(tǒng)，轉(zhuǎn)換成一個(gè)單詞序列。

起初，系統(tǒng)會(huì)吐出毫無意義的句子。但是當(dāng)系統(tǒng)將每個(gè)單詞序列與實(shí)際朗讀的句子進(jìn)行比較時(shí)，它得到了改進(jìn)，學(xué)會(huì)了數(shù)字字符串與單詞的關(guān)系，以及哪些單詞是有上下文關(guān)系的。

算法不斷的訓(xùn)練，直到從說話時(shí)的大腦活動(dòng)中產(chǎn)生書面文本，類似機(jī)器翻譯。

新系統(tǒng)的準(zhǔn)確性遠(yuǎn)遠(yuǎn)高于以前的方法。雖然準(zhǔn)確性因人而異，但對(duì)于其中一位志愿者來說，平均每個(gè)句子只有 3% 需要糾正，高于速記員 5% 的單詞錯(cuò)誤率。 

當(dāng)然，目前這個(gè)系統(tǒng)還是有很大局限，算法還只能處理少量的句子。系統(tǒng)也不能用于嚴(yán)重殘疾失去語言能力的患者，因?yàn)樗蕾囉谟涗洿舐曊f出句子的人的大腦活動(dòng)。

然而，每個(gè)志愿者只用了不到 40 分鐘來訓(xùn)練，在有限的小數(shù)據(jù)集情況下，達(dá)到了迄今為止最大的精確度。

腦機(jī)接口

從人類大腦信號(hào)到外部設(shè)備之間建立連接通路并不是新鮮事，腦機(jī)接口的研究已持續(xù)了 30 年。 

【 雷鋒網(wǎng)注：腦機(jī)接口近30年來一直是研究熱點(diǎn)。圖片來源：Pixabay  所有者：aytuguluturk 】

在過去的十年，我們已經(jīng)能夠解碼語音信號(hào)，但是局限于孤立音素或者單音節(jié)詞，在一段 100 個(gè)單詞的連續(xù)語音的情況下，解碼正確的單詞少于 40% 。

科學(xué)家們此次找到的是一個(gè)更直接的方法，就是采取機(jī)器翻譯類似的算法。機(jī)器翻譯就是將文本從一種語言到另一種語言的算法翻譯，只不過這次輸入的文本變成了腦電波信號(hào)。此次發(fā)表的論文《使用編碼器-解碼器框架：大腦皮層活動(dòng)到文本的機(jī)器翻譯》，正是詳細(xì)描述了這一過程。

在系統(tǒng)對(duì)一個(gè)志愿者進(jìn)行訓(xùn)練之后，再對(duì)另外一個(gè)志愿者訓(xùn)練時(shí)，解碼結(jié)果得到了改善，這表明該技術(shù)可以在人和人之間進(jìn)行遷移。

在 GitHub 上，放置了論文對(duì)應(yīng)的代碼。

ecog2txt 模塊，用于從神經(jīng)數(shù)據(jù)中將語音解碼為文本。它用 Python 代碼實(shí)現(xiàn)了跨主題的遷移學(xué)習(xí)的高級(jí)功能。[2]

【雷鋒網(wǎng)注：ecog2txt是論文對(duì)應(yīng)的開源實(shí)現(xiàn)模塊】

而訓(xùn)練本身則是通過另一個(gè) machine_learning 軟件包，它在 TensorFlow 里實(shí)現(xiàn)了一個(gè)序列到序列的網(wǎng)絡(luò)。[3]

這些軟件包的作者，也是論文的聯(lián)合作者之一約瑟夫·馬金（Joseph Makin）博士，他目前是加州大學(xué)舊金山分校整合神經(jīng)科學(xué)中心的研究科學(xué)家。他的專業(yè)是電機(jī)工程和計(jì)算機(jī)科學(xué)，專門研究控制理論，包括腦機(jī)接口的算法開發(fā)。[4]

【雷鋒網(wǎng)注：上圖為張愛德博士】

論文的另外一個(gè)聯(lián)合作者是張愛德（Edward Chang）博士，他是醫(yī)學(xué)博士和神經(jīng)外科醫(yī)生，擅長(zhǎng)為患有癲癇病，腦瘤，三叉神經(jīng)痛，面肌痙攣和運(yùn)動(dòng)障礙的成年人提供治療。他目前是加州大學(xué)舊金山分校威爾神經(jīng)科學(xué)研究所的神經(jīng)外科教授，還領(lǐng)導(dǎo)了一個(gè)神經(jīng)工程與假肢中心，以恢復(fù)癱瘓和言語障礙等神經(jīng)疾病患者的功能。[5]

網(wǎng)友評(píng)論 

科學(xué)家們?cè)?jīng)認(rèn)為將大腦信號(hào)轉(zhuǎn)換為可理解的語音可能需要數(shù)十年，而現(xiàn)在這個(gè)間隔可以用幾年來衡量。在 reddit 的科學(xué)板塊，該消息引發(fā)了 3 萬多次點(diǎn)贊和上千條評(píng)論。[6]

網(wǎng)友 derlumpenhund 評(píng)論說，這并不表示思想閱讀機(jī)發(fā)明出來了。它主要依賴于解碼口舌運(yùn)動(dòng)時(shí)對(duì)應(yīng)的大腦皮層活動(dòng)，需要收集給定主題的數(shù)據(jù)，并且提前進(jìn)行訓(xùn)練，并不會(huì)直接解碼你的思想活動(dòng)。話雖這么說，這一進(jìn)展也很了不起。

網(wǎng)友 boointhehouse 則說，如果這項(xiàng)技術(shù)早點(diǎn)用于斯蒂芬·霍金，在他的一生中還能完成更多的工作。

 

引用來源：

[1] https://www.nature.com/articles/s41593-020-0608-8.epdf 

[2] https://github.com/jgmakin/ecog2txt 

[3] https://github.com/jgmakin/machine_learning 

[4] https://profiles.ucsf.edu/joseph.makin 

[5] https://profiles.ucsf.edu/edward.chang 

[6] https://www.reddit.com/r/science/comments/fry305/scientists_develop_ai_that_can_turn_brain/ 

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。