無論是開創(chuàng)智能手機(jī)時(shí)代的 iPhone，還是如今很熱門的 VR/AR 和人工智能，再到蘋果新 Macbook Pro 的亮點(diǎn) Touchbar。人機(jī)交互的創(chuàng)新是消費(fèi)科技產(chǎn)品進(jìn)步的核心。

而在這個(gè)領(lǐng)域，近些年最流行概念的大概就是“自然人機(jī)交互”了，蘋果多點(diǎn)觸控交互設(shè)計(jì)，VR/AR 里的動(dòng)作捕捉、空間定位，人工智能產(chǎn)品時(shí)常用到的語音交互，都強(qiáng)調(diào) Intuitive interface，也就是直觀、自然的交互體驗(yàn)，不需要太多學(xué)習(xí)就能上手。

但如果要推出一個(gè)自然人機(jī)交互設(shè)計(jì)，到底如何才能體現(xiàn)其中的“自然”這個(gè)詞呢？實(shí)際上，雷鋒網(wǎng)發(fā)現(xiàn)，當(dāng)下許多號(hào)稱自然的產(chǎn)品交互，并沒有得到用戶青睞，為產(chǎn)品加分，反而成為被詬病的對(duì)象。

如何破解自然人機(jī)交互中的自然，是許多產(chǎn)品開發(fā)者需要掌握的知識(shí)。為此，雷鋒網(wǎng)邀請(qǐng)了小小牛創(chuàng)意科技創(chuàng)始人，自然人機(jī)交互技術(shù)國際專家曹翔，來講解自然人機(jī)交互到底“自然”在哪兒？

嘉賓介紹

曹翔，博士，小小牛創(chuàng)意科技創(chuàng)始人，自然人機(jī)交互技術(shù)國際專家。曾任微軟研究院研究員，聯(lián)想研究院總監(jiān)、主任研究員。清華大學(xué)計(jì)算機(jī)系學(xué)士，加拿大多倫多大學(xué)計(jì)算機(jī)系碩士、博士，英國劍橋大學(xué)Fellow。

以下內(nèi)容整理自曹翔在硬創(chuàng)公開課的分享。

公開課視頻：

自然人機(jī)交互（NUI）成了這些年業(yè)內(nèi)的時(shí)髦詞，手勢(shì)、語音、觸控、眼動(dòng)……各種新的界面操作方式從實(shí)驗(yàn)室里飛進(jìn)了千家萬戶?？傻降资裁礃拥慕缑娌潘愕蒙献匀?？是不用鼠標(biāo)鍵盤，看著很炫的，還是有更微妙的含義？根據(jù)自己在人機(jī)交互領(lǐng)域研究的經(jīng)歷，以及從同行那里得到的許多啟發(fā)，聊聊對(duì)自然人機(jī)交互的理解。

常見的理解

不管是有意識(shí)的還是無意識(shí)的，談到自然人機(jī)交互，人人心中都有一個(gè)或清晰或模糊的理解。這些形形色色的理解都各有各的道理，但往往又有不盡然的地方。要探討什么樣的界面是屬于“自然”的，就不妨先從人們常見的一些理解出發(fā)，看看它們各自正確和不足的地方在哪里。

自然人機(jī)交互等于“新”模態(tài)界面嗎？

的確，許多自然人機(jī)交互的成功例子，譬如微軟的體感游戲設(shè)備（Kinect）、Surface交互桌面和任天堂的Wii游戲等等，都運(yùn)用了手勢(shì)、語音、多點(diǎn)觸控等交互模態(tài)，甚至同時(shí)結(jié)合了多種模態(tài)。那么，是否使用了這些模態(tài)的界面就一定是“自然”的？恐怕不盡然。

我想不少人都能舉出使這些“自然”模態(tài)不自然的場(chǎng)景。譬如語音操控：很適合于私人空間，而在公眾場(chǎng)合卻可能帶來尷尬。再如手勢(shì)界面：大家對(duì)電影《少數(shù)派報(bào)告》中主人公揮舞雙手操作大屏幕界面完成每日工作的場(chǎng)景也許不陌生，這幾乎成了大眾心目中自然手勢(shì)界面的代表。

然而據(jù)這一場(chǎng)景的設(shè)計(jì)者說，在電影拍攝過程中，身體健碩的男主角卻因?yàn)椴豢伴L(zhǎng)時(shí)間舉著雙手的疲勞，不得不用鋼絲吊著胳膊完成拍攝。這直接印證了手勢(shì)界面對(duì)于日常工作場(chǎng)合并不一定自然，盡管它在Kinect家庭游戲中早已備受歡迎。相反，一些較為傳統(tǒng)的交互模態(tài)，譬如鼠標(biāo)和鍵盤，在其特有的使用情境中卻有著強(qiáng)大的生命力。

其實(shí)，自然人機(jī)交互并不是一個(gè)嶄新的概念，而是自計(jì)算機(jī)誕生之日就存在，并不斷地發(fā)展。作為計(jì)算機(jī)同行，一定對(duì)計(jì)算機(jī)界面更迭的歷史都耳熟能詳：從穿孔卡片到命令行再到圖形界面，每一代界面的出現(xiàn)都比前一代更為自然和直觀，但也都花費(fèi)了相當(dāng)長(zhǎng)時(shí)間才成為主流。

與之前的主要針對(duì)桌面計(jì)算機(jī)和工作環(huán)境而設(shè)計(jì)的界面相比，今天的用戶界面所面臨的是多樣化的使用情境：移動(dòng)、游戲、社交等等不一而足。而在何種情況下選擇何種模態(tài)進(jìn)行交互才是最自然的，這是每個(gè)人機(jī)交互從業(yè)者必須面對(duì)的問題。

自然人機(jī)交互等于模仿人的界面嗎？

在科幻電影中，經(jīng)常會(huì)出現(xiàn)計(jì)算機(jī)模仿人的語音與用戶進(jìn)行交流的場(chǎng)景，有時(shí)計(jì)算機(jī)甚至?xí)M人的形象，以虛擬助手的形式出現(xiàn)在屏幕上或現(xiàn)實(shí)世界中。

無疑，這樣的擬人化界面可以讓用戶與計(jì)算機(jī)交流就像與他人交往一樣，很多情況下的確會(huì)感覺更為自然和親切，甚至有可能在人與計(jì)算機(jī)間建立情感上的聯(lián)系。它特別適用于用戶其它交互渠道（譬如手眼）被占用，或是需要計(jì)算機(jī)提供智能化幫助的時(shí)候。

但這種方式也有局限，在日常生活中，許多時(shí)候我們所做的事情并非與人交流，而是直接去操縱物理世界：比如直接拿起筷子吃飯就會(huì)比告訴別人怎么把食物喂到嘴里更為自然。同理，對(duì)于某些活動(dòng)，用戶直接操控界面也會(huì)比間接地通過擬人化交流更為自然和高效。

自然人機(jī)交互等于模仿物理世界的界面嗎？

那是不是模仿人與物理世界交互方式的界面就更加自然？實(shí)際上，當(dāng)前通行的許多界面模式，都是建立在物理世界概念的基礎(chǔ)上的，比如Windows圖形界面和文件夾組織結(jié)構(gòu)，就是對(duì)真實(shí)辦公桌的一種模仿。還有不少研究人員探索了如何把物理模型引入用戶界面用于驅(qū)動(dòng)交互的過程，甚至把真實(shí)物體作為界面的一部分，通過操作物理實(shí)體與計(jì)算機(jī)進(jìn)行交互，即實(shí)體用戶界面（tangible user interface）。

這些基于物理世界規(guī)則的界面能讓用戶完全地按照操作真實(shí)物體的方式與計(jì)算機(jī)交互，省去了不少學(xué)習(xí)時(shí)間，在一定意義上提供了最大限度的自然。

但如果純粹模仿物理世界，也會(huì)遇到瓶頸，那就是真實(shí)世界本身受到各種物理定律和客觀條件制約，我們?cè)趶?fù)制它的種種直觀屬性的同時(shí)，也復(fù)制了它的種種限制與不便。這在某些情況下恰恰犧牲了計(jì)算機(jī)的靈活性，使用戶失去了軟件界面本來所能提供的自由空間。

而在這一點(diǎn)上，大家熟悉的多點(diǎn)觸控界面中用兩個(gè)手指操作圖片或者其它虛擬物體的手勢(shì)，并沒有拘泥于物理操作，而是在平移和旋轉(zhuǎn)這兩個(gè)完全符合物理常規(guī)的操作之中，加入了縮放這一在真實(shí)世界幾乎不可能的操作，形成了一個(gè)無縫的自然交互方式——多數(shù)用戶在使用它的時(shí)候可能甚至從來沒有意識(shí)到這一點(diǎn)?？梢哉f，自然人機(jī)交互應(yīng)當(dāng)源于真實(shí)，高于真實(shí)。

自然人機(jī)交互等于不用輸入設(shè)備的界面嗎？

如果我們關(guān)注最近的一些被稱為自然人機(jī)交互的產(chǎn)品，無論是使用手勢(shì)、語音、觸控，甚至是腦電波，他們的共性似乎是不需要專門的輸入工具，而用身體的某一部分來直接進(jìn)行操作。這是否是一切自然人機(jī)交互的大勢(shì)所趨？

一方面，人的手和身體本身就是極為靈活的工具，不需輔助就可以勝任許多通用型的任務(wù)，這正是今天許多無需輸入設(shè)備界面的基礎(chǔ)；但另一方面，物理工具的發(fā)明恰恰標(biāo)志著人類的進(jìn)化。

各式各樣的工具造就了人類從事各種專門活動(dòng)的能力，而每一種工具的設(shè)計(jì)和使用方法都最大可能地為其支持的活動(dòng)做了專門的優(yōu)化，本身就是“自然人機(jī)交互”的典范。

最好的例子莫過于形形色色的筆：比起用手指寫字，用筆寫字實(shí)際上更好地利用了人多個(gè)手指靈活配合和控制的能力，大大提高了書寫的準(zhǔn)確和豐富性。同樣的道理，在今天的計(jì)算機(jī)使用中，特別是對(duì)于許多專門性的活動(dòng)，一套設(shè)計(jì)合理的輸入設(shè)備（例如數(shù)字筆）也可以延展人的能力，從而提供更加自然的界面。

上述各種理解有一個(gè)共性，那就是它們都是將某一類特定的交互模式等同于自然人機(jī)交互。而實(shí)際上，“自然”并不是一個(gè)絕對(duì)的概念，無法拋開情境來下結(jié)論。上述提到或沒提到的每一種交互模式都在某些使用情境中成為自然界面的典范，但在另一些情境下卻又可能顯得不那么自然。

在尚未了解界面所要支持的用戶、活動(dòng)和環(huán)境的前提下，幾乎無從判斷它的自然與否。正如人機(jī)交互研究的一位先驅(qū)比爾?巴克斯頓(Bill Buxton)所說，“不論是什么東西，都對(duì)某些事情最好，而對(duì)另一些事情最糟?！?/p>

那么，自然人機(jī)交互能否有一個(gè)普適的標(biāo)準(zhǔn)？

一些研究人機(jī)交互的同行提出了一個(gè)有趣的問題：自然用戶界面這個(gè)詞，究竟是自然的“用戶界面”還是“自然用戶”的界面？乍看起來這是個(gè)文字游戲，答案也許并不重要。但這個(gè)問題的提出，為回答前一個(gè)問題指出了一條方向，那就是對(duì)自然人機(jī)交互的衡量，并非取決于界面的交互模式，而是取決于用戶自身的體驗(yàn)。

自然源于體驗(yàn)/經(jīng)驗(yàn)

在英文中experience既有體驗(yàn)又有經(jīng)驗(yàn)的意思。而在討論自然的用戶體驗(yàn)時(shí)，正要從用戶的經(jīng)驗(yàn)說起。這乍聽似乎有些矛盾：自然人機(jī)交互不應(yīng)該要求用戶沒有任何經(jīng)驗(yàn)嗎？不錯(cuò)，對(duì)界面本身而言，讓用戶在沒有經(jīng)驗(yàn)的前提下上手，讓學(xué)習(xí)過程盡量縮短，這正是自然人機(jī)交互的主要優(yōu)勢(shì)之一。而這里要談的，是另一種經(jīng)驗(yàn)——對(duì)現(xiàn)實(shí)生活的經(jīng)驗(yàn)。

具體解釋之前，先講講我的兩位人機(jī)交互同行親身經(jīng)歷的故事。

一位印度的同行為當(dāng)?shù)赜脩粼O(shè)計(jì)了一組用數(shù)字筆操作的界面。在進(jìn)行用戶測(cè)試時(shí)，他對(duì)其中一位用戶說：“請(qǐng)拿起筆碰一下屏幕。”出乎他意料的是，這一看起來十分簡(jiǎn)單自然的操作，居然出了問題：這位用戶沒有用筆尖，而是把筆橫過來整個(gè)貼在了屏幕上！經(jīng)詢問才知道原來他不識(shí)字，也從沒用過筆。

而另一位歐洲的同行為家庭用戶在交互桌面上開發(fā)了一套軟件，包括一些直觀的手勢(shì)交互，例如用兩個(gè)手指相反方向移動(dòng)做打開的手勢(shì)來打開一個(gè)虛擬的儲(chǔ)物箱。當(dāng)他向用戶家庭演示時(shí)，他想考考這個(gè)家中正上小學(xué)的孩子：“你試試看怎么打開這個(gè)箱子？”孩子二話不說，直接用食指在箱子上雙擊！

從這兩個(gè)例子可以明顯地看出，對(duì)于用戶而言什么是自然并不等于與生俱來，而是在很大程度上取決于它們之前的生活經(jīng)驗(yàn)：前者因?yàn)闆]有用筆的經(jīng)驗(yàn)，“自然”的操作對(duì)他毫無自然可言；而后者由于從小與電腦和鼠標(biāo)打交道，“不自然”的操作對(duì)他卻是再自然不過。

同樣的道理，我們平時(shí)覺得自然的事情，不論書寫、語言、手勢(shì)，還是觸摸，恰恰是來自于若干年積累下來的經(jīng)驗(yàn)或者有意識(shí)無意識(shí)的人為訓(xùn)練，當(dāng)然也包括對(duì)真實(shí)世界物理規(guī)律的經(jīng)驗(yàn)，和對(duì)已有計(jì)算機(jī)界面模式的經(jīng)驗(yàn)。這些訓(xùn)練和經(jīng)驗(yàn)，有些是較為廣泛地為所有人所共享的，比如物理規(guī)律；而有些則與用戶所屬的社會(huì)文化群體息息相關(guān)，正像上邊所舉的兩個(gè)例子。

由此可見，如果想讓用戶盡快上手，恰恰要建立在用戶已有生活經(jīng)驗(yàn)的基礎(chǔ)之上?？s短了的界面學(xué)習(xí)過程，正是因?yàn)榻栌昧舜饲叭舾赡暧脩魧W(xué)習(xí)其它相關(guān)事物的過程。于是，了解目標(biāo)用戶群體已有的經(jīng)驗(yàn)，并試圖讓交互方式與這些經(jīng)驗(yàn)相一致，就成了設(shè)計(jì)自然人機(jī)交互的關(guān)鍵。

實(shí)際上，在人機(jī)交互中非常強(qiáng)調(diào)的“隱喻（metaphor）”概念，正可看成是這種思想的一種體現(xiàn)。隱喻指的是把用戶界面中的概念比擬為一種人們熟悉的概念或現(xiàn)象，用于解釋其交互方式，例如將圖形界面元素比喻為大家熟悉的桌面、窗口等等。隱喻越貼切，越為用戶熟悉，往往就意味著界面越自然。

當(dāng)然，界面設(shè)計(jì)不可能也不應(yīng)當(dāng)完全局限于人們已有的經(jīng)驗(yàn)。有時(shí)，界面所涉及的活動(dòng)并沒有直接對(duì)應(yīng)的現(xiàn)實(shí)經(jīng)驗(yàn)可以借鑒；有時(shí)，拘泥于已有經(jīng)驗(yàn)會(huì)失去了界面設(shè)計(jì)的靈活性和創(chuàng)新空間。

如何確保用戶界面在超越已有經(jīng)驗(yàn)的同時(shí)，又不失其自然呢？這里要涉及到人機(jī)交互中另一個(gè)與用戶經(jīng)驗(yàn)息息相關(guān)的概念，即思維模型（mental model）。它是用戶腦中對(duì)所進(jìn)行的具體活動(dòng)機(jī)制的一個(gè)抽象，源于經(jīng)驗(yàn)，又高于經(jīng)驗(yàn)。

還以多點(diǎn)觸控中的兩指操縱手勢(shì)為例，根據(jù)物理經(jīng)驗(yàn)，真實(shí)的物體無法被縮放，但基于平移和旋轉(zhuǎn)的經(jīng)驗(yàn)，用戶抽象出的思維模型則是無論手指怎樣移動(dòng)，物體上固定的兩個(gè)點(diǎn)始終對(duì)應(yīng)于兩個(gè)手指的位置?？s放操作正是這一思維模型的直接的推廣，而這也是廣大用戶在使用這一操作時(shí)沒有感到任何不自然的原因。

由此可見，理解用戶已有的思維模型，并加以外推，不失為設(shè)計(jì)自然人機(jī)交互的有效方法，也可以覆蓋大量的用戶原本沒有經(jīng)驗(yàn)或預(yù)期的使用情境。這樣設(shè)計(jì)出的界面可以說是“情理之中，意料之外”。

基于這些討論，不妨試著給自然人機(jī)交互一個(gè)定義：自然人機(jī)交互是與目標(biāo)用戶群體在預(yù)期使用情境下已有的經(jīng)驗(yàn)或思維模型相符的用戶界面。雖然與許多常見理解相比，這個(gè)定義少了“新”和“炫”的成分，但它在某種意義上也許更加貼合自然的本義：往往是“無招勝有招”，一個(gè)理想的自然人機(jī)交互應(yīng)當(dāng)能讓用戶的注意力完全集中在所要從事的活動(dòng)上，而忘記界面本身的存在，或者說，界面變得“透明”了。

實(shí)踐嘗試

下面介紹一些我們?cè)谧匀蝗藱C(jī)交互研究方面的嘗試。雖然這些例子未必在自然方面做到了完美，但希望能以它們來直觀地映證前文的一些思路。 

所握即所得的數(shù)字筆

數(shù)字筆在設(shè)計(jì)、藝術(shù)等行業(yè)內(nèi)廣泛采用，相比鼠標(biāo)等其他輸入設(shè)備，對(duì)于從事視覺創(chuàng)作人群的自然性不言而喻。但今天的數(shù)字筆已經(jīng)完全自然了嗎？如果我們看看現(xiàn)實(shí)中這些人群用于創(chuàng)作的物理工具，卻遠(yuǎn)不止一支筆這么簡(jiǎn)單。

他們要用到的有鋼筆、毛筆、素描鉛筆、刻刀、尺子等等工具。雖然這些工具形狀相仿，卻每一件都是為了特殊的功能而專門設(shè)計(jì)的，讓使用者用起來得心應(yīng)手，最為自然。

雖然從軟件上用同一支數(shù)字筆在畫板上模擬各種工具的功能并不困難，但卻在一定程度上缺失了每件物理工具使用的自然性。專用工具的自然，與通用工具的便利，有時(shí)看起來確實(shí)是一對(duì)矛盾。如何在這兩者間取得平衡？答案依然要來自對(duì)現(xiàn)實(shí)經(jīng)驗(yàn)的觀察：當(dāng)人們使用物理工具時(shí)，手握的方式都不盡相同，鋼筆和毛筆的不同握法就是最好的例子。

而每種握法，也正是為了最舒適地完成相應(yīng)的功能而優(yōu)化的結(jié)果，這些握法本身就是自然性的體現(xiàn)。由此，如果我們能在同一支數(shù)字筆上，通過識(shí)別用戶不同的握法來自動(dòng)提供不同的功能，那么用戶就不必再刻意地選擇不同的工具（無論物理工具或是虛擬工具），而只需要關(guān)注想要完成的功能，相應(yīng)轉(zhuǎn)換到最為自然的握法，便可以直接開始使用這一種功能。

這樣，用戶不管從思維上還是操作上都跳過了工具選擇這一步，可以說，工具變得“透明”了?；谶@一想法，我們研制了一支“所握即所得的數(shù)字筆”，通過在筆上附加多點(diǎn)觸摸和方向的傳感器，可以識(shí)別出用戶十余種不同的握法，并在數(shù)字畫板上提供相應(yīng)的功能：鋼筆、毛筆、印章……甚至超出視覺創(chuàng)作的范疇，譬如模擬笛子等不同的樂器，從而使用戶使用數(shù)字筆的體驗(yàn)更為自然和豐富。  

ShapeTouch: 從多點(diǎn)觸控到形狀觸控

多點(diǎn)觸控中的兩指操縱手勢(shì)作為自然人機(jī)交互設(shè)計(jì)的范例，本身也面臨著挑戰(zhàn)。試想一下，如果不是在觸摸屏或交互桌面上，而是在物理世界中操縱真實(shí)物體時(shí)也同樣只用兩個(gè)手指去移動(dòng)和旋轉(zhuǎn)，是否還那么自然？

人手是一件極為靈活的工具，我們?cè)谂c物理世界交互時(shí)，會(huì)根據(jù)物體的特性（形狀、重量等）和操作的目的（精細(xì)或是粗略，局部或是整體，等等）而采取不同的接觸方式。我們的手能夠完成的極其豐富的操作，遠(yuǎn)遠(yuǎn)超過多“點(diǎn)”觸控的范疇。

那么，怎樣才能讓對(duì)虛擬物體的觸控操作也像物理世界中那樣豐富而自然？關(guān)鍵在于對(duì)于觸摸輸入的理解不能再簡(jiǎn)單地將其抽象為多“點(diǎn)”觸摸，而是要保留接觸面完整的形狀與大小的信息并由它來決定交互的結(jié)果。因?yàn)樵谖锢硎澜缰?，正是這復(fù)雜多變的接觸面把人手的各種操作傳遞給了物體。

ShapeTouch系統(tǒng)正是為了展示這一概念而推出的。它通過對(duì)人手接觸交互桌面的形狀、面積、以及運(yùn)動(dòng)信息的分析，模擬出對(duì)所接觸到的虛擬物體所應(yīng)產(chǎn)生的作用力，譬如推力、壓力、摩擦力等，從而產(chǎn)生出與物理世界相符的自然操作效果。

為此，用戶不僅可以把若干年來與物理世界打交道積累下的豐富經(jīng)驗(yàn)直接運(yùn)用于與虛擬物體的交互，還可以像在物理世界中一樣不假思索地將各種動(dòng)作同時(shí)組合起來，完成更為復(fù)雜的操作。而這些操作方式并不僅局限于圖片等有著具體物理對(duì)應(yīng)的虛擬物體，也可以應(yīng)用到按鈕、滑動(dòng)條等界面元素中，把用戶來自具體物體的思維模型擴(kuò)展到抽象的操作中去。

Q&A 環(huán)節(jié)

Q：謎鏡（雷鋒網(wǎng)注：小小牛產(chǎn)品）的實(shí)現(xiàn)原理是怎樣的呢？這款產(chǎn)品挺有意思的。

A：謎鏡借薦了孩子認(rèn)識(shí)世界的方式，孩子沒有大數(shù)據(jù)，他不認(rèn)識(shí)世界上每樣?xùn)|西，但他會(huì)理解世界上一些本質(zhì)規(guī)律，比如物體的形狀、顏色、運(yùn)動(dòng)方式。我們也是用這種方式把世界上的東西分解成更加本原的元素，通過引擎去應(yīng)對(duì)孩子創(chuàng)造的東西。這些東西可能是完全沒有見過的，但沒有關(guān)系，只要它符合基本的規(guī)律，通過計(jì)算機(jī)視覺和圖像處理，我們可以把它們分析出來，就可以跟它進(jìn)行交互。

Q：很多公司都想在觸摸屏上應(yīng)用觸控筆，但觸控筆的應(yīng)用卻一直很窄，這是為什么？

A：觸控筆這件事是個(gè)很好的問題，就像我剛才提到的。筆，由其是數(shù)字筆，適合非常專業(yè)化的工作。設(shè)計(jì)師幾乎離不開觸控筆，筆實(shí)際上非常適合做一些非結(jié)構(gòu)化的創(chuàng)作，比如畫畫，或者是不遵從一定排版的創(chuàng)作。但反過來說，我們大部分人在電腦上做的是結(jié)構(gòu)化的創(chuàng)作，比如輸入文字，排版，做表之類的。這種情況使用鼠標(biāo)、鍵盤作為輸入設(shè)備效率會(huì)高很多。所以還是那句話，觸控筆適合非結(jié)構(gòu)化輸入，鼠標(biāo)鍵盤適合結(jié)構(gòu)化輸入。

Q：自然人機(jī)交互最近的研究熱點(diǎn)和研究趨勢(shì)是什么？近期跟VR相結(jié)合的研究工作有哪些？

A：人機(jī)交互的一個(gè)大趨勢(shì)，不管在什么樣的情境下，目前一個(gè)共同的趨勢(shì)就是虛擬與現(xiàn)實(shí)的邊界越來越模糊。也就是大家所說的增強(qiáng)現(xiàn)實(shí)的概念。

VR對(duì)新的交互方式有非常大的需求，因?yàn)樵赩R的環(huán)境下鼠標(biāo)鍵盤是用不了的，不管是手勢(shì)、語音、眼動(dòng)，剛才提到的各種方式，其實(shí)大家都在探索怎么去跟VR結(jié)合。當(dāng)然也并不是簡(jiǎn)單地結(jié)合，同樣要考慮使用情景。

另外比較有意思的是，現(xiàn)在不再是單純地把環(huán)境用虛擬去替代，而是在VR環(huán)境里引入現(xiàn)實(shí)世界的一些元素，比如在頭盔上加上攝像頭去捕捉身邊環(huán)境的元素，放置到虛擬場(chǎng)景里。甚至于它會(huì)利用到身邊實(shí)體的物體來生成一些觸感。這方面有一個(gè)比較討巧的辦法，通過識(shí)別真實(shí)場(chǎng)景中的物體，再生成一個(gè)虛擬世界的代表，來制造觸覺，也是比較有意思的一個(gè)研究。

當(dāng)然我剛才說是跟交互方式有關(guān)的研究，而關(guān)于VR交互體驗(yàn)的研究已經(jīng)是存在幾十年。其實(shí)目前的VR從生理上就有個(gè)不太自然的地方，現(xiàn)在VR的立體視覺是通過兩個(gè)眼睛看到不同的圖像來生成的，但在真實(shí)物理世界里，其實(shí)我們觀察一個(gè)3D的世界，并不僅僅是通過這一個(gè)信息，還會(huì)通過雙眼的聚焦，還有兩個(gè)眼睛看的方向在某一點(diǎn)的匯聚，等等。而目前的VR顯示無法模擬所有這些方式，所以也造成眩暈等現(xiàn)象。這也是新的顯示技術(shù)，所謂光場(chǎng)顯示在解決的問題，讓顯示更加自然。

Q：輸入中語言和非語言交互，差距很大吧？如果二維屏幕之后很難再有統(tǒng)治性人機(jī)界面，關(guān)鍵在于人的大量交互方式屬于語言交互，比如自然語言和編程語言都是。

A：語言和非語言交互各有優(yōu)劣，語言非常適合做抽象概念性的交流，比如討論一個(gè)哲學(xué)問題，除了語言沒有別的辦法了。但反過來說，語言也有非常不擅長(zhǎng)的事情，比如做一些空間上的操作，假如你不能用鼠標(biāo)也不能用手了，那么要用語言操作去點(diǎn)屏幕上某個(gè)地方會(huì)非常累。

Q：您怎么看蘋果在Touch Bar上，以及3D Touch做的努力呢？

A：我覺得Touch Bar也好，3D Touch也好，是交互中另外一個(gè)原則的體現(xiàn)，就是高效的但需要一定學(xué)習(xí)成本的方式。因?yàn)門ouch Bar和3D Touch對(duì)應(yīng)的都是比較抽象的交互方式，并不是像屏幕上選擇圖標(biāo)那樣，先認(rèn)識(shí)一個(gè)圖標(biāo)再選擇它，而是把它作為一個(gè)快捷方式，腦子里要有一個(gè)大概的觀念，知道它做了之后會(huì)有什么結(jié)果，習(xí)慣以后效率會(huì)很高。

人機(jī)交互里有Recogntion VS Memory的概念。有一些操作是基于把所有選項(xiàng)選擇呈現(xiàn)在眼前，然后作個(gè)選擇，有些操作則是要記住一些操作，就不再有選擇的過程，是直接把命令交出去。兩者各有優(yōu)劣，前者更加自然，容易上手，后者效率更高，因?yàn)槟悴辉倜媾R選擇，只需快速做這一個(gè)操作就好，但上手成本更高。所以很多時(shí)候交互面臨選擇，是更在乎易學(xué)還是高效。而這也和面對(duì)的場(chǎng)景有關(guān)，初學(xué)者和專業(yè)人士，前者可能更在乎易學(xué)，后者更在乎高效。

這也是為什么現(xiàn)在很多程序員仍然習(xí)慣用命令行去操作的原因。

Q：觸摸屏之后，您覺得下一個(gè)大的人機(jī)交互方式會(huì)是什么？

A：實(shí)話實(shí)說，我覺得觸摸屏可能是我們見到的最后一種統(tǒng)治性的交互方式了，因?yàn)槲磥淼慕换デ榫耙呀?jīng)越來越多樣化。觸摸屏本質(zhì)上還是一個(gè)圖形界面交互，跟我們鼠標(biāo)鍵盤在屏幕上的圖形界面是一樣的，相對(duì)來說，只要是屏幕的交互它還是可以勝任。但反過來說，未來各種多樣化的情景，可能再也不會(huì)出現(xiàn)一個(gè)像屏幕、圖形界面這樣相對(duì)來說放之四海皆準(zhǔn)的交互方式。像語音、手勢(shì)都會(huì)找到它特定的場(chǎng)景，越來越多樣化。

剛才提的很多問題都集中在輸入的方式，其實(shí)我覺得某種意義上電腦能捕獲人類的輸入方式的種類是有限的，基本上就是觸摸、語音、手勢(shì)這些，人能做的基本就是這樣。但反過來說，在輸出、顯示這些技術(shù)上，將來能發(fā)揮的空間更大，好比說人眼睛能接收的可能性幾乎是無限的，它不僅能接收物理世界的東西，還能接收各種虛幻的影像。尤其在顯示這塊，我覺得將來能玩的可能性還很多，而且也不僅僅是視覺，還有聽覺甚至是觸覺。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。