0
雷鋒網(wǎng) AI 科技評(píng)論按：近日，來自加州大學(xué)舊金山分校的研究者開發(fā)出了一種能將大腦信號(hào)轉(zhuǎn)換為語音的虛擬假體語音系統(tǒng)，可幫助癲癇和其他神經(jīng)性疾病患者還原語音能力。這項(xiàng)研究成果于 4 月 24 日發(fā)表在《自然》雜志上，加州大學(xué)舊金山分校的官網(wǎng)上也報(bào)道了這一成果。
現(xiàn)實(shí)世界中，有很多人都由于中風(fēng)或肌萎縮側(cè)索硬化（ALS）等神經(jīng)退行性疾病喪失說話能力，最終造成溝通障礙。而現(xiàn)在，科學(xué)家們?cè)趫?bào)告中提出，他們已經(jīng)開發(fā)了一種虛擬的假體語音系統(tǒng)，該系統(tǒng)能夠解碼大腦的說話意圖，并將它們轉(zhuǎn)化為基本可以理解的言語，而不需要移動(dòng)任何肌肉，甚至是口腔內(nèi)的肌肉。例如物理學(xué)家斯蒂芬 · 霍金，曾經(jīng)就使用他臉頰上的肌肉在鍵盤上打出字符，然后計(jì)算機(jī)再將這些字符合成為語音。
這項(xiàng)研究由加州大學(xué)舊金山分校的 Gopala K. Anumanchipalli 以及同時(shí)在加州大學(xué)舊金山分校和加州大學(xué)伯克利分校任教的 Josh Chartier 領(lǐng)導(dǎo)。它建立在最近的一篇論文上，該論文首次描述人類大腦的語音中心如何設(shè)計(jì)嘴唇、上下顎、舌頭以及其他聲帶組成部分，從而生成流暢的語音。
這項(xiàng)新研究工作的論文作者、加州大學(xué)舊金山分校神經(jīng)外科教授 Edward Chang 博士表示，「實(shí)驗(yàn)顯示，我們通過解碼指導(dǎo)發(fā)音的大腦活動(dòng)模擬出來的語音，比根據(jù)從大腦中提取出來的聲音表示而合成的語音更準(zhǔn)確，也更自然?！?/span>
Edward Chang 博士致力于研究大腦如何產(chǎn)生和分析語音，他開發(fā)了一個(gè)為癲癇和其他神經(jīng)性疾病患者還原語音能力的假體。（圖源：加州大學(xué)舊金山分校）
以前基于植入物的通信系統(tǒng)，每分鐘可生成大約 8 個(gè)單詞。而這項(xiàng)新成果每分鐘能以自然的說話節(jié)奏生成約 150 個(gè)單詞。
同時(shí)，他還認(rèn)為，這項(xiàng)新的工作成果代表了一次「原理論證」，它預(yù)示著科技現(xiàn)在所能實(shí)現(xiàn)程度，研究者們能夠開發(fā)出一個(gè)能夠幫助喪失說話能力的患者重拾說話能力。
實(shí)際上，此前研究人員就已經(jīng)開發(fā)出了其他的虛擬語音輔助工具。它們都通過解碼負(fù)責(zé)識(shí)別字母和單詞以及口頭表示的大腦信號(hào)來實(shí)現(xiàn)語音輔助，但是這些方法在自然語言表達(dá)的速度和流動(dòng)性上尚顯不足。
而這項(xiàng)新成果，則譯解了大腦在說話期間用來指導(dǎo)聲帶運(yùn)動(dòng)（如舌頭與口腔的碰撞、嘴唇縮窄等）的控制命令，使得產(chǎn)生的句子在可理解的同時(shí)，也接近于說話者自然的說話節(jié)奏。
目前，這項(xiàng)研究成果已在說話正常的人身上進(jìn)行了測(cè)試，但還未在由于神經(jīng)性疾病或重傷（例如常見的中風(fēng)）而造成語言障礙的患者身上進(jìn)行測(cè)試，由于這類神經(jīng)性疾病往往會(huì)加大對(duì)大腦信號(hào)的解碼難度或使得無法實(shí)現(xiàn)對(duì)大腦信號(hào)的解碼。
對(duì)此，加州大學(xué)舊金山分校和加州大學(xué)伯克利分校的科學(xué)家們招募了五名在醫(yī)院接受癲癇手術(shù)評(píng)估的患者來接受該系統(tǒng)的測(cè)試。
ECoG 電極矩陣由能夠記錄大腦活動(dòng)的顱內(nèi)電極組成（圖源：加州大學(xué)舊金山分校）
Gopala Anumanchipalli 是加州大學(xué)舊金山分校的神經(jīng)學(xué)家，他正拿著一個(gè)跟在當(dāng)前研究中所使用的電極矩陣非常相似的電極矩陣（圖源：加州大學(xué)舊金山分校）
許多癲癇患者都由于藥物治療效果不佳而選擇接受腦部手術(shù)。在手術(shù)前，醫(yī)生必須首先找到癲癇在每個(gè)人的大腦中發(fā)作的「熱點(diǎn)」，這通過在大腦中或大腦表面上放置電極，并聽取明顯的電風(fēng)暴 (electrical storms) 來完成。
對(duì)此位置進(jìn)行精確定位可能需要耗費(fèi)數(shù)周時(shí)間。在此期間，患者通過在涉及到運(yùn)動(dòng)和聽覺信號(hào)的大腦區(qū)域里面或附近植入電極來度日。這些患者往往會(huì)同意在這些植入物體上搭載其他額外的實(shí)驗(yàn)。
加州大學(xué)舊金山分校的這五名此類患者就接受在他們身上測(cè)試虛擬語音生成器。研究者在他們每個(gè)人的大腦中都植入了一個(gè)或兩個(gè)電極矩陣：郵票大小的襯墊包裹了數(shù)百個(gè)被放置在大腦表層的微小電極。
當(dāng)每個(gè)志愿者在背誦數(shù)百個(gè)句子時(shí)，電極就會(huì)記錄下運(yùn)動(dòng)皮層中神經(jīng)元的發(fā)射模式。研究人員將這些模式與患者在自然說話期間所發(fā)生的嘴唇、舌頭、喉部以及下頜的微妙運(yùn)動(dòng)聯(lián)系起來。之后，研究團(tuán)隊(duì)再將這些運(yùn)動(dòng)轉(zhuǎn)譯為成口頭表達(dá)的句子。
另外在實(shí)驗(yàn)中，研究者還讓以英語為母語的人聽取句子來測(cè)試虛擬語音生成器的流暢度，最終發(fā)現(xiàn)虛擬系統(tǒng)說出的 70% 的內(nèi)容都是可理解的。
研究人員還發(fā)現(xiàn)，其他人可以使用和調(diào)整基于某個(gè)人的大腦活動(dòng)的合成語音系統(tǒng)——這就暗示著現(xiàn)有的虛擬系統(tǒng)在未來某一天都能夠?qū)ν忾_放。
該團(tuán)隊(duì)正計(jì)劃展開臨床試驗(yàn)以進(jìn)一步測(cè)試該系統(tǒng)。而臨床試驗(yàn)面臨的最大挑戰(zhàn)，可能是尋找合適的患者：讓人類喪失說活能力的中風(fēng)，往往也會(huì)損害或影響到支持語音發(fā)音的大腦區(qū)域。
盡管如此，眾所周知，腦器接口技術(shù)（相關(guān)技術(shù)可查看雷鋒網(wǎng) AI 科技評(píng)論此前的一篇相關(guān)報(bào)道）領(lǐng)域正在迅速發(fā)展，世界各地的研究團(tuán)隊(duì)也正在改進(jìn)這項(xiàng)技術(shù)，未來有可能實(shí)現(xiàn)對(duì)特定傷患進(jìn)行腦器接口技術(shù)的量身定制。
論文：《Speech synthesis from neural decoding of spoken sentences》
摘要：將神經(jīng)活動(dòng)轉(zhuǎn)換成語音的技術(shù)對(duì)于因神經(jīng)系統(tǒng)損傷而無法正常交流的人來說，是革命性的。從神經(jīng)活動(dòng)中解碼語音極具挑戰(zhàn)性，因?yàn)檎f話者需要對(duì)聲道發(fā)聲進(jìn)行非常精準(zhǔn)、快速的多維度控制。這項(xiàng)新研究設(shè)計(jì)了一個(gè)神經(jīng)解碼器，以顯式地利用人類大腦皮層活動(dòng)中進(jìn)行了編碼的運(yùn)動(dòng)表示和聲音表示來合成語音。首先，用循環(huán)神經(jīng)網(wǎng)絡(luò)直接將記錄的大腦皮層活動(dòng)解碼為發(fā)音運(yùn)動(dòng)的表示，然后將這些表示轉(zhuǎn)換為語音。在封閉的詞匯測(cè)試中，聽眾可以識(shí)別和轉(zhuǎn)錄出利用大腦皮層活動(dòng)合成的語音。中間的發(fā)音動(dòng)態(tài)即使在數(shù)據(jù)有限的情況下也能幫助提升性能。講話者可以較大程度地保存經(jīng)過解碼的發(fā)音運(yùn)動(dòng)表示，從而使得解碼器的組件可在不同參與者之間遷移。此外，該解碼器還可以在參與者默念句子時(shí)合成語音。這些發(fā)現(xiàn)都提升了使用神經(jīng)假體技術(shù)還原語音交流能力的臨床可行性。
參考：https://www.ucsf.edu/news/2019/04/414296/synthetic-speech-generated-brain-recordings 雷鋒網(wǎng) AI 科技評(píng)論報(bào)道
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
