現(xiàn)在已經(jīng)有人開始利用人工智能研究動(dòng)漫里萌萌噠的視覺語言了。加州大學(xué)圣迭戈分校的Neil Cohn和Sean Ehly兩位學(xué)者對(duì)日式視覺語言中的“詞素”進(jìn)行了描述與分類，并且分析了1997年到2012年最受歡迎的10本男生向漫畫和10本女生向漫畫，包括《火影忍者》、《進(jìn)擊的巨人》、《妖精的尾巴》等。他們發(fā)現(xiàn)，視覺語言在男生向漫畫與女生向漫畫并無顯著差異。

那些生活在漫畫二次元世界中的人，他們的生活是怎樣的？色迷迷盯著美女時(shí)，他們的鼻子會(huì)流血；安穩(wěn)睡覺時(shí)，他們的鼻子上又會(huì)出現(xiàn)氣泡。一旦二次元漫畫人物情緒高漲，他們就會(huì)迅速變得異?！翱ㄍɑ?，就像下圖這樣——

（日本漫畫中的代表性情緒“視覺語言” | 圖片來源：Visual Language Lab）

即便不認(rèn)識(shí)圖中的英文，看過日式動(dòng)漫的人想必也一定能理解這些卡通圖像的含義。這些長(zhǎng)久以來約定俗成的漫畫元素被稱作“視覺語言”，流血的鼻子和鼻子上的氣泡等則被視為“視覺詞素”。

| 什么是“視覺語言”？

人類使用口頭或書面語言來交流，同時(shí)也會(huì)使用視覺圖像，例如繪畫。但運(yùn)用視覺進(jìn)行交流有其特殊性。首要的一個(gè)問題是，我們說口語，那么我們畫（）?

當(dāng)代的語言與認(rèn)知理論給出的答案正是“視覺語言?！睂?shí)證也表明，人們?cè)谔幚硪曈X信息時(shí)，大腦的神經(jīng)反應(yīng)與處理口語句子相似。和口語一樣，視覺語言也分為多個(gè)語種，這與各地區(qū)的文化差異有關(guān)。

在東亞流行的日式漫畫建立在“日式視覺語言”上，它們與美式漫畫或法式漫畫差異極大。“日式視覺語言”只是一種統(tǒng)稱，中國(guó)與韓國(guó)的許多動(dòng)漫也具備這些元素。另外，“日式視覺語言”也并非只出現(xiàn)在動(dòng)漫中，它早已滲入到東亞青少年的日常生活，你在QQ或微信上一定被類似下圖中的表情萌到過。

（視覺語言萌萌噠 | 圖片來源：千圖）

現(xiàn)在，有學(xué)者開始研究生活中的這種視覺語言了。

| 動(dòng)漫中的“日式視覺語言”

為了研究這種視覺語言，加州大學(xué)圣迭戈分校的Neil Cohn和Sean Ehly兩位學(xué)者對(duì)日式視覺語言中的“詞素”進(jìn)行了描述與分類。為此，他們分析了1997年到2012年最受歡迎的10本男生向漫畫和10本女生向漫畫，包括《火影忍者》、《進(jìn)擊的巨人》、《妖精的尾巴》等作品。

運(yùn)用人工智能領(lǐng)域的圖像識(shí)別與自然語言處理技術(shù)，他們分類了日本漫畫中約定俗稱的73個(gè)圖形模式，下面便是其中的12種。他們還發(fā)現(xiàn)，視覺語言在男生向漫畫與女生向漫畫并無顯著差異，只有10種只出現(xiàn)在某一類漫畫里。他們的論文將發(fā)表在2016年新一期的《語用學(xué)雜志》（Journal of Pragmatics）上。

（雷鋒網(wǎng)萌萌噠二次元記者友情備注：男生向就是后宮向，男主自帶主角光環(huán)，所有女孩子都喜歡他一個(gè)人，其他男二男三都沒人愛；女生向就是耽美番，里面全是男的，各種搞基賣腐，或者像月刊少女野崎君那樣的純愛番，男主蠢萌，女主各種追。這種狗血?jiǎng)「n劇有些類似，但是沒有那些要死要活的，只有賣萌。）

（日本漫畫中的圖形模式 | 圖片來源：黑匣）

| 那么，他們?yōu)槭裁匆芯柯嬛械娜帐揭曈X語言？

• 從自然語言到視覺語言

長(zhǎng)久以來，人工智能研究者的夢(mèng)想便是讓電腦等機(jī)器“懂”人類的語言。人工智能和語言學(xué)交叉，形成了自然語言處理這一分支?，F(xiàn)在，機(jī)器已經(jīng)能夠基本“聽懂”人類的語言，自然語言處理早已滲入普通人的生活。

以語音搜索與識(shí)別為例，根據(jù)德勤的報(bào)告，Google在2014年將語音識(shí)別的精準(zhǔn)度從2012年的84%提升到如今的98%，移動(dòng)端Android系統(tǒng)的語音識(shí)別準(zhǔn)確性提高了25%。而在2015年5月，微軟宣布實(shí)時(shí)翻譯工具Skype Translator面向所有用戶開放預(yù)覽版，它能自動(dòng)翻譯不同語言的語音通話和即時(shí)通信消息。未來，科幻電影《星際迷航》中的“萬用對(duì)講機(jī)”很可能變?yōu)楝F(xiàn)實(shí)，各個(gè)地區(qū)之間的語言障礙將不復(fù)存在。

但是人類還同時(shí)使用其他“語言”溝通，例如面部表情。雖然圖像識(shí)別發(fā)展迅速，理解人類的表情或情緒對(duì)于機(jī)器來說仍然困難。

• 人工智能也“看臉”

現(xiàn)在，機(jī)器已經(jīng)能夠識(shí)別人臉等圖像，近年逐漸興起的深度學(xué)習(xí)技術(shù)更是讓圖像識(shí)別有了巨大飛躍。

2014年，4位Google深度學(xué)習(xí)科學(xué)家發(fā)表了一篇題為“Show and Tell: A Neural Image Caption Generator（NIC，神經(jīng)圖片標(biāo)題生成器）”的論文，展示了神經(jīng)網(wǎng)絡(luò)為圖片自主擬出標(biāo)題的技術(shù)。NIC堪與圖片編輯相比，是一項(xiàng)包含視覺和語言要素的大型實(shí)驗(yàn)。其非凡之處在于，它將可視化圖片的學(xué)習(xí)系統(tǒng)建立在神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，而后者可以用自然語言造句。

（NIC根據(jù)圖像生成完整的自然語言句子 | 圖片來源：arXiv）

下一步，憑借著人工智能的發(fā)展，機(jī)器或許將可以很好地理解人類的面部表情等情緒表達(dá)。許多學(xué)者認(rèn)為，要將自然語言處理拓展到視覺語言，首先要弄懂這種“語言”的基本“詞素”。

運(yùn)用各種視覺元素來展現(xiàn)情節(jié)與情緒的漫畫無疑是個(gè)很好的載體。如何機(jī)器能夠預(yù)先知道漫畫的典型視覺“詞素”，也能識(shí)別出對(duì)話等文本，那么“看懂”漫畫就指日可待。最終，人類的各種表情與情緒也難逃機(jī)器法眼，一個(gè)能看懂你的小冰或者Siri難道不更聰明可愛嗎？

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。