11月14日下午，微軟亞洲研究院在自己的18歲生日之際邀請(qǐng)到眾多前微軟研究院的成員，現(xiàn)清華大學(xué)教授徐迎慶分享了《針對(duì)視覺受損人群的觸覺認(rèn)知研究》主題演講，講述了過去7年中他和他的團(tuán)隊(duì)在觸覺研究上的感悟與成果。本文根據(jù)徐迎慶的演技整理而成，在不影響愿意的情況下略作刪減。

徐迎慶，清華大學(xué)信息藝術(shù)設(shè)計(jì)系主任、清華大學(xué)終身學(xué)習(xí)實(shí)驗(yàn)室主任、清華大學(xué)無障礙發(fā)展研究院副院長，1999年至2011年期間曾就職于微軟亞洲研究院。

這個(gè)項(xiàng)目在微軟期間就開始了，大概做了7年。我想做的是針對(duì)視覺受損人群的觸覺研究。

從WHO（World Health Organization）的數(shù)字來看，全球有2.85億人是視覺嚴(yán)重受損，這個(gè)數(shù)字是可怕的。我們?cè)?jīng)在盲人學(xué)?？吹?，同學(xué)們雖然視力嚴(yán)重受損，但是有的同學(xué)每天把頭貼在屏幕上，渴望著與外界的溝通。記得幾年前我們開始這個(gè)項(xiàng)目的時(shí)候，有一個(gè)研究生去了盲人學(xué)?；貋碇蟾袆?dòng)得熱淚盈眶，她說這些孩子特別了不起，一定要做一點(diǎn)事情為他們。

從那時(shí)起，清華大學(xué)魯曉波教授、史元春教授、和我本人就共同發(fā)起了這個(gè)項(xiàng)目至今。我們希望通過觸覺和觸覺交互的設(shè)計(jì)，結(jié)合語音等多通道的沉浸認(rèn)知讓盲人通過觸摸學(xué)習(xí)更豐富的知識(shí)，比如復(fù)雜的圖形圖像的理解。目前國際上這是一個(gè)前沿的研究熱點(diǎn)。針對(duì)盲人的交互研究有很多的工作已經(jīng)做了，比如可穿戴移動(dòng)互聯(lián)網(wǎng)輔助設(shè)備、智能導(dǎo)航盲杖、盲人手表、移動(dòng)PDA等等，包括各種各樣的語音識(shí)別軟件。這里順便說一下，如果你們看過盲人用語音聊天，你會(huì)感覺非常驚訝，我們現(xiàn)在的語速加速3倍、5倍以后是他們語音的聊天，他們能聽得懂，我們跟不上。觸覺圖像的大幅面、高精度研究，美國、歐洲很多實(shí)驗(yàn)室都做過嘗試。在多通道方面，我們過去幾年一直在開展這個(gè)工作。

什么是觸覺圖像？

觸覺圖像就是通過實(shí)體表面的凸凹理解圖像，為用戶提供直接的觸覺體驗(yàn)，可以觸覺渲染，也可以視覺渲染。另外制作出這些圖像有很多種方法，比如熱塑、微囊紙、熱敏紙、觸點(diǎn)打印等等，這些設(shè)備相對(duì)來說制作起來不方便，而且相對(duì)沒有那么多，還有點(diǎn)貴。同時(shí)帶來一個(gè)問題，打了很多紙，紙很厚，有凸凹點(diǎn)，不容易存放和運(yùn)輸，而且只能顯示靜態(tài)的東西。

大家知道互聯(lián)網(wǎng)的發(fā)展，在互聯(lián)網(wǎng)上除了文字更多的是圖形、圖像、視頻，這樣發(fā)展的趨勢(shì)把盲人朋友放在了互聯(lián)網(wǎng)之外，他們?nèi)绻麤]有一個(gè)好的工具，就更沒有辦法理解這個(gè)東西，這是一個(gè)非常大的挑戰(zhàn)。盡管現(xiàn)在有盲人圖書、盲人打字機(jī)甚至盲人點(diǎn)顯器，但是怎么幫助他們學(xué)習(xí)圖形圖像抽象的東西，以及獲取互聯(lián)網(wǎng)的信息，這不僅是挑戰(zhàn)，而是全人類面臨的義務(wù)和責(zé)任。

觸覺圖像顯示器市場上大尺寸非常貴，而且大尺寸也不是大家想象的那么大，這個(gè)就是比較大的了。太小的尺寸，由于分辨率的問題認(rèn)知效果就大打折扣。即便這樣一個(gè)小的現(xiàn)在提高價(jià)格差不多5.5萬歐元，將近40萬人民幣左右。

針對(duì)這樣的問題，我們從幾方面下手。首先是沉浸認(rèn)識(shí)，要做觸覺的東西，從認(rèn)知的角度，什么是他們能夠接受，他們習(xí)慣的以及他們能夠真正通過觸覺來理解的圖像。另一方面僅僅是觸覺，大家知道盲人的聽覺也非常的發(fā)達(dá)，從聽覺的角度來說，觸覺和聽覺的多通道怎么融合，開發(fā)多通道的沉浸的體驗(yàn)，同時(shí)我們希望能夠開發(fā)一款相對(duì)低成本的觸覺圖像顯示器。

問題有哪些？

比如如何提高盲人圖形圖像的認(rèn)知和交互體驗(yàn)，如何設(shè)計(jì)觸覺圖形。如果把普通的圖像簡單地提取一個(gè)邊緣的話，從觸覺人質(zhì)的角度來看是很難理解的，必須有一套相對(duì)來說經(jīng)過改進(jìn)的圖像便于觸覺理解。如何設(shè)計(jì)既有高精度、大幅面又低成本的圖像顯示器，以及在更多的場景下如何融入觸聽覺沉浸式信息的獲取。

我們非常幸運(yùn)有很多的合作伙伴，例如：北京盲人學(xué)校、北京聯(lián)合大學(xué)特殊教育學(xué)院，我們和這些專家們探討如何探索圖形庫的內(nèi)容的框架。

中國盲校的教學(xué)材料

這是盲文，中國的盲人是基于漢語拼音的。而且還不僅僅是文字，很多盲人音樂家非常厲害，這是他們學(xué)習(xí)音樂課的基本樂符。而學(xué)習(xí)物理課的公式和一些圖形表達(dá)，物理化學(xué)課的內(nèi)容，怎么通過這樣一些圖形來讓他們上課。包括化學(xué)分子式，他們用的紙都是這樣，小時(shí)候總是捐畫報(bào)紙，當(dāng)時(shí)不理解，后來才知道這是盲人同學(xué)用它扎字、做記錄，我們的同學(xué)也自己去學(xué)習(xí)如何用盲文記錄，這是非常有意義的體驗(yàn)過程。

用戶體驗(yàn)研究

我們?yōu)闇y(cè)試做了很多的圖形準(zhǔn)備，這些是從標(biāo)準(zhǔn)的圖形庫中拿出來的，然后進(jìn)行很多篩選和用戶訪談，包括來主動(dòng)、被動(dòng)的使得圖形能夠更加有效的被識(shí)別。這個(gè)過程中我們發(fā)現(xiàn)了很多與我們的假設(shè)完全不一樣的事情，比如我們一直認(rèn)為一個(gè)后天的盲人和先天的盲人同樣接觸識(shí)別一組圖形的時(shí)候，應(yīng)該是后天的識(shí)別的更好，因?yàn)樗羞^經(jīng)驗(yàn)。但我們的實(shí)驗(yàn)表明，先天的盲人表現(xiàn)更好。后來才發(fā)現(xiàn)，這些后天盲人的先天經(jīng)驗(yàn)干擾了他們對(duì)正確結(jié)果的判斷，這些是完全和我們的想象不一樣的。還有一個(gè)問題是，發(fā)生在什么時(shí)候。我們每周都在做用戶體驗(yàn)的設(shè)計(jì)，包括主動(dòng)和被動(dòng)的。和他們一起討論，什么樣的圖形是合適的，怎么提取這里面的關(guān)鍵內(nèi)容。

同樣我們也提出了一套觸聽覺多通道的交互模型，希望能夠從認(rèn)知能力上，不同的通道能夠占用不同的腦力資源，能夠從交互界面上觸覺和聽覺的信息分別占據(jù)不同的傳輸空間，使得干擾最小、融合最大。這個(gè)項(xiàng)目本身也是多學(xué)科的融合，除了我，還有清華大學(xué)美術(shù)院系魯曉波教授、計(jì)算機(jī)系史元春教授，清華醫(yī)學(xué)院的洪波教授，還有中科院心理所的劉燁研究員、以及我們的研究生焦陽、龔江濤等等。

通過大家的努力，我們得到非常有意思的數(shù)據(jù)。我們能夠看到聽覺區(qū)域兩個(gè)方面都是差不多的，而在大腦的結(jié)構(gòu)上盲人的視覺區(qū)域小于明眼人的視覺區(qū)域。盲人觸摸東西非常快，那個(gè)速度讓我們驚呆了。但是通過腦核磁腦的成像，盲人與明眼人手部運(yùn)動(dòng)在腦的成像是差不多的，這個(gè)讓我們體會(huì)到其實(shí)我們閉上眼睛經(jīng)過一但時(shí)間訓(xùn)練也可以達(dá)到，有些東西是由后天訓(xùn)練確定的。所以當(dāng)時(shí)的一些假設(shè)，比如盲人的視覺區(qū)域比正常人小，fmRI結(jié)果支持了第一個(gè)假設(shè)，但是我們覺得盲人的手的運(yùn)動(dòng)區(qū)域要大，但是在實(shí)驗(yàn)中沒有支持這個(gè)假設(shè)。這是多學(xué)科交叉和融合的工作。    

Graille

我們對(duì)這樣的一個(gè)設(shè)備做了功能的設(shè)計(jì)，比如我們希望它有這樣的一些功能，能夠支持、學(xué)習(xí)、社交、分享。我們提出的技術(shù)指標(biāo)，渲染幅面大于120×60點(diǎn)，現(xiàn)在有7200點(diǎn)，如何在這么小的空間上控制7200點(diǎn)，能夠真正實(shí)時(shí)的顯示出來，這并不是簡單的事情。這個(gè)工作為什么這么困難做了這么多年。這么小的結(jié)構(gòu)，直徑1毫米，這樣的結(jié)構(gòu)上，我們?cè)谶@上面設(shè)計(jì)了幾套機(jī)械聯(lián)動(dòng)裝置。    

再談一下產(chǎn)業(yè)化的東西，首先如為盲人朋友提供更好的服務(wù)是各國政府關(guān)心的問題。中國政府也非常關(guān)注這個(gè)事情，我們也拿到了國家的重大專項(xiàng)的支持，同時(shí)聯(lián)合國兒童基金會(huì)，中國殘疾人協(xié)會(huì)等也一直關(guān)心相關(guān)的研究。我們也在和百度合作，這個(gè)項(xiàng)目如果做出來原型，我們會(huì)和百度做盲人搜索平臺(tái)，盲人用這樣的設(shè)備來搜索、購物，做力所能及的事情。剛開始可能不能什么都做，但是萬水千山第一步總是要邁出去。

進(jìn)一步的研究

除了給盲人用以外，我們?cè)谟?jì)算機(jī)視覺上也提出了一些新的挑戰(zhàn)。比如什么是圖像語義特征，什么是觸覺圖像的語義特征，如何提取這種圖像。例如，簡單的閾值計(jì)算或者提取邊緣并不能夠使得盲人能夠理解這樣的圖像，只有真的有語義的、精煉的表達(dá)出來才有可能對(duì)圖像壓縮、編碼、傳輸真正起到幫助作用。借這個(gè)機(jī)會(huì)，我也特別感謝微軟研究院曾經(jīng)給過很大的支持，現(xiàn)在一直也在關(guān)注和關(guān)心這個(gè)項(xiàng)目。同時(shí)，也有很多單位給了這個(gè)項(xiàng)目很大的支持和贊助，比如微軟亞洲研究院、Intel中國研究院、百度公司、國家自然科學(xué)基金、國家重大專項(xiàng)研究計(jì)劃、北京盲人學(xué)校、北京聯(lián)合大學(xué)特殊教育專業(yè)、中科院軟件所、中科院心理所、聯(lián)合國兒童基金會(huì)、清華大學(xué)美術(shù)學(xué)院、計(jì)算機(jī)系、醫(yī)學(xué)院、心理學(xué)系等等。衷心感謝團(tuán)隊(duì)中的每一位成員的努力！

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。