現(xiàn)在已經(jīng)有人開始利用人工智能研究動漫里萌萌噠的視覺語言了。加州大學圣迭戈分校的Neil Cohn和Sean Ehly兩位學者對日式視覺語言中的“詞素”進行了描述與分類，并且分析了1997年到2012年最受歡迎的10本男生向漫畫和10本女生向漫畫，包括《火影忍者》、《進擊的巨人》、《妖精的尾巴》等。他們發(fā)現(xiàn)，視覺語言在男生向漫畫與女生向漫畫并無顯著差異。

那些生活在漫畫二次元世界中的人，他們的生活是怎樣的？色迷迷盯著美女時，他們的鼻子會流血；安穩(wěn)睡覺時，他們的鼻子上又會出現(xiàn)氣泡。一旦二次元漫畫人物情緒高漲，他們就會迅速變得異常“卡通化”，就像下圖這樣——

（日本漫畫中的代表性情緒“視覺語言” | 圖片來源：Visual Language Lab）

即便不認識圖中的英文，看過日式動漫的人想必也一定能理解這些卡通圖像的含義。這些長久以來約定俗成的漫畫元素被稱作“視覺語言”，流血的鼻子和鼻子上的氣泡等則被視為“視覺詞素”。

| 什么是“視覺語言”？

人類使用口頭或書面語言來交流，同時也會使用視覺圖像，例如繪畫。但運用視覺進行交流有其特殊性。首要的一個問題是，我們說口語，那么我們畫（）?

當代的語言與認知理論給出的答案正是“視覺語言?！睂嵶C也表明，人們在處理視覺信息時，大腦的神經(jīng)反應與處理口語句子相似。和口語一樣，視覺語言也分為多個語種，這與各地區(qū)的文化差異有關。

在東亞流行的日式漫畫建立在“日式視覺語言”上，它們與美式漫畫或法式漫畫差異極大。“日式視覺語言”只是一種統(tǒng)稱，中國與韓國的許多動漫也具備這些元素。另外，“日式視覺語言”也并非只出現(xiàn)在動漫中，它早已滲入到東亞青少年的日常生活，你在QQ或微信上一定被類似下圖中的表情萌到過。

（視覺語言萌萌噠 | 圖片來源：千圖）

現(xiàn)在，有學者開始研究生活中的這種視覺語言了。

| 動漫中的“日式視覺語言”

為了研究這種視覺語言，加州大學圣迭戈分校的Neil Cohn和Sean Ehly兩位學者對日式視覺語言中的“詞素”進行了描述與分類。為此，他們分析了1997年到2012年最受歡迎的10本男生向漫畫和10本女生向漫畫，包括《火影忍者》、《進擊的巨人》、《妖精的尾巴》等作品。

運用人工智能領域的圖像識別與自然語言處理技術，他們分類了日本漫畫中約定俗稱的73個圖形模式，下面便是其中的12種。他們還發(fā)現(xiàn)，視覺語言在男生向漫畫與女生向漫畫并無顯著差異，只有10種只出現(xiàn)在某一類漫畫里。他們的論文將發(fā)表在2016年新一期的《語用學雜志》（Journal of Pragmatics）上。

（雷鋒網(wǎng)萌萌噠二次元記者友情備注：男生向就是后宮向，男主自帶主角光環(huán)，所有女孩子都喜歡他一個人，其他男二男三都沒人愛；女生向就是耽美番，里面全是男的，各種搞基賣腐，或者像月刊少女野崎君那樣的純愛番，男主蠢萌，女主各種追。這種狗血劇跟韓劇有些類似，但是沒有那些要死要活的，只有賣萌。）

（日本漫畫中的圖形模式 | 圖片來源：黑匣）

| 那么，他們?yōu)槭裁匆芯柯嬛械娜帐揭曈X語言？

• 從自然語言到視覺語言

長久以來，人工智能研究者的夢想便是讓電腦等機器“懂”人類的語言。人工智能和語言學交叉，形成了自然語言處理這一分支?，F(xiàn)在，機器已經(jīng)能夠基本“聽懂”人類的語言，自然語言處理早已滲入普通人的生活。

以語音搜索與識別為例，根據(jù)德勤的報告，Google在2014年將語音識別的精準度從2012年的84%提升到如今的98%，移動端Android系統(tǒng)的語音識別準確性提高了25%。而在2015年5月，微軟宣布實時翻譯工具Skype Translator面向所有用戶開放預覽版，它能自動翻譯不同語言的語音通話和即時通信消息。未來，科幻電影《星際迷航》中的“萬用對講機”很可能變?yōu)楝F(xiàn)實，各個地區(qū)之間的語言障礙將不復存在。

但是人類還同時使用其他“語言”溝通，例如面部表情。雖然圖像識別發(fā)展迅速，理解人類的表情或情緒對于機器來說仍然困難。

• 人工智能也“看臉”

現(xiàn)在，機器已經(jīng)能夠識別人臉等圖像，近年逐漸興起的深度學習技術更是讓圖像識別有了巨大飛躍。

2014年，4位Google深度學習科學家發(fā)表了一篇題為“Show and Tell: A Neural Image Caption Generator（NIC，神經(jīng)圖片標題生成器）”的論文，展示了神經(jīng)網(wǎng)絡為圖片自主擬出標題的技術。NIC堪與圖片編輯相比，是一項包含視覺和語言要素的大型實驗。其非凡之處在于，它將可視化圖片的學習系統(tǒng)建立在神經(jīng)網(wǎng)絡的基礎上，而后者可以用自然語言造句。

（NIC根據(jù)圖像生成完整的自然語言句子 | 圖片來源：arXiv）

下一步，憑借著人工智能的發(fā)展，機器或許將可以很好地理解人類的面部表情等情緒表達。許多學者認為，要將自然語言處理拓展到視覺語言，首先要弄懂這種“語言”的基本“詞素”。

運用各種視覺元素來展現(xiàn)情節(jié)與情緒的漫畫無疑是個很好的載體。如何機器能夠預先知道漫畫的典型視覺“詞素”，也能識別出對話等文本，那么“看懂”漫畫就指日可待。最終，人類的各種表情與情緒也難逃機器法眼，一個能看懂你的小冰或者Siri難道不更聰明可愛嗎？

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。