0
在語言學的廣闊天地中，手語研究曾是一片未被充分開墾的荒地。
上海大學的倪蘭教授，作為中國大陸培養(yǎng)的第一位「手語語言學」方向博士，在談到自己選擇手語方向時仍忍不住感慨，“往前推二十年，語言學界幾乎無人涉足這一領(lǐng)域?！?/p>
然而，時光流轉(zhuǎn)至今，這一領(lǐng)域的現(xiàn)狀是否得到了改善？
二十年后的今天，盡管在這一領(lǐng)域人們的認識有了很大的進步，也有一些研究者開始從事手語相關(guān)研究，但比起語言學的其他方向，手語語言學仍然面臨著諸多問題和挑戰(zhàn)。
在2023年4月天津理工大學舉辦的手語信息化會議上，倪蘭教授作為語言學界的代表之一，感受到了這一領(lǐng)域的發(fā)展與局限。
她指出，在一眾與會者中，除了極少數(shù)學者外，大多數(shù)參與者都來自計算機科學和通信技術(shù)領(lǐng)域。這也意味著，盡管手語技術(shù)的研究取得了一定的進展，但對手語作為一門語言的深入理解仍然不足。
大多數(shù)的信息科學的研究人員利用計算機視覺技術(shù)進行了多年的手語識別研究，但遺憾的是，可能很多人并未真正意識到：手語是一種和有聲語言同樣的自然語言。
最近幾年很多科技公司推出的“手語數(shù)字人”試圖為聽障人士提供實時信息服務，但當流量盛宴結(jié)束，這些技術(shù)是否能融入日常生活、研發(fā)公司能否保留技術(shù)團隊、聽障群體是否真正接受這種翻譯方式、以及這些技術(shù)是否通過了國家權(quán)威機構(gòu)的技術(shù)有效性鑒定，這些深層次問題卻鮮有人問津。
當技術(shù)熱潮逐漸冷卻，人們再次審視手語識別的核心問題。
倪蘭教授認為，過去人們普遍認為只要理解單個手勢的含義就能解決手語識別問題，但當AI和數(shù)字人出現(xiàn)后，機械地將漢語詞匯翻譯成手語，聽障群體卻難以理解機器自動生成的手語。
倪蘭教授比喻說：“就像外國人學習中文，如果他們按照英語的句法結(jié)構(gòu)來組織漢語詞匯，那么他們說的漢語可能會讓人難以理解。同樣，手語也需要遵循其自身的語法結(jié)構(gòu)”。
在技術(shù)開發(fā)方面，倪蘭教授認為，手語識別的核心問題在于手語的內(nèi)部結(jié)構(gòu)，包括語音構(gòu)造、構(gòu)詞方式和句法結(jié)構(gòu)。
她指出，手語的語法結(jié)構(gòu)問題，尤其是如何將手語表達轉(zhuǎn)換為相同概念的句子結(jié)構(gòu)，是研究的核心。她的研究團隊正在努力解決這些問題，以提高手語識別的準確性。
在與計算機科學家的合作方面，倪蘭教授提出了兩個關(guān)鍵問題：如何利用技術(shù)手段處理長篇語料，以及如何實現(xiàn)標準樣本的標注。這樣的合作將有助于提高手語研究的效率，為計算機視覺技術(shù)在手語識別領(lǐng)域的應用提供充足的數(shù)據(jù)支持。
近期在與雷峰網(wǎng)(公眾號：雷峰網(wǎng))-AI科技評論的對話中，倪蘭教授從語言學視角梳理了手語研究中的關(guān)鍵問題，也講述了如何與計算機視覺專家開展手語識別系統(tǒng)的合作開發(fā)。
以下為對話（經(jīng)編輯）：
AI科技評論：倪教授，如今“手語語言研究者”已經(jīng)成了您的一個重要身份，但我想知道，您為何選擇做手語研究，最開始遇到過哪些難題？
倪蘭：在2000年左右，國內(nèi)對手語語言學這一邊緣領(lǐng)域的研究認可度并不高。當時手語的研究主要是由特殊教育領(lǐng)域的專家進行，他們關(guān)注的是如何教授聾生通過手語學習漢語，語言學界幾乎無人涉足這一領(lǐng)域。
我的導師龔群虎教授在新加坡做博士后期間，注意到國外一些大學語言學系常常會有幾位專家專注于手語研究。由于他自己也會一些手語，他開始特別關(guān)注這一領(lǐng)域，并在此期間搜集了大量相關(guān)文獻資料。
2002年，龔群虎教授被引進到復旦大學時，將這些資料和想法帶到了國內(nèi)。
2003年，我開始攻讀博士學位，導師詢問我是否愿意從事手語研究。當時我對此并不熟悉，但我愿意嘗試，所以導師就給了我一本美國語言學家寫的書，名為《Sign Language(手語)》。
這本書基于是1970年代加州大學圣迭戈分校和索爾克研究所一批學者針對手語的實驗工作而進行的研究，他們原本是希望探討聾人在沒有語言的情況下是否仍具有思維能力。他們以聾人和聽人為研究對象，發(fā)現(xiàn)聾人不僅具有思維，而且擁有自己的語言——手語，這一發(fā)現(xiàn)激發(fā)了一批研究者對手語的研究興趣。
我在閱讀這本書后也感到非常興奮，盡管當時國內(nèi)沒有這方面的深入研究，中文研究資料也非常匱乏，但我發(fā)現(xiàn)手語研究與我之前從事的現(xiàn)代漢語語法研究有很多相似之處，手語研究中的許多問題也是漢語研究需要面臨的問題，所以從那時開始我對手語研究產(chǎn)生了濃厚的興趣。
AI科技評論：我留意到您是中國大陸培養(yǎng)的第一位「手語語言學」方向博士，博士期間在手語領(lǐng)域做了哪些工作？
倪蘭：博士期間我向?qū)煴磉_了意愿，希望能專注于手語的語法研究。因為特教專業(yè)已經(jīng)在手語詞匯研究方面做了很多工作，而在語法和手語的“語音”（盡管手語沒有聲音，但在語言學意義上可以被視為一種“語音”）方面，研究還相對較少。
從2003年開始，我跟隨導師進行研究，直到2007年畢業(yè)時，完成了中國大陸第一篇關(guān)于手語動詞的博士論文。
當時，香港中文大學也在進行手語研究，鄧慧蘭教授帶領(lǐng)的團隊極大推動了香港手語研究的發(fā)展。我2007年從復旦大學畢業(yè)時，國內(nèi)的手語研究領(lǐng)域爭議還頗多，有人認為手語不過是一種輔助工具，缺乏系統(tǒng)的語法結(jié)構(gòu)，不能算作一種真正的語言。由于懂得手語的學者寥寥無幾，這一領(lǐng)域的研究并未得到廣泛認可。因此，我并沒有以手語研究的身份應聘任何高校，而是憑借我之前的漢語教學經(jīng)驗，成為了上海大學國際交流學院的一名語言教師。
后來，我有機會被派往國外工作，發(fā)現(xiàn)很多國家，包括我所工作的土耳其等國家，都有專門的手語研究者。2010年，中國殘聯(lián)和國家語委在北京師范大學成立了國家盲文和手語研究中心。它標志著手語、盲文研究開始受到更加廣泛的關(guān)注，這也是我國手語研究的一個重要轉(zhuǎn)折點。2012年，我和導師共同申請了一個國家社科重大項目，專注于中國手語數(shù)據(jù)庫的建設(shè)。作為句法子課題的負責人，負責長篇數(shù)據(jù)采集和相關(guān)數(shù)據(jù)分析工作，目前建立的手語數(shù)據(jù)庫存放在復旦大學。
AI科技評論：后來是怎么把手語工作帶到了上海大學？
倪蘭：參與中國手語數(shù)據(jù)庫這個國家社科重大項目的工作后，我向上海大學文學院提出了成立一個手語研究中心的想法。2017年，“中國手語及聾人研究中心”在上海大學成立。這是中國綜合性大學中首個專注于手語研究的校級研究機構(gòu)。中心致力于開展手語和聾人的科學研究以及國家通用手語的推廣工作，我擔任了研究中心主任。
中國手語（CSL）是一個廣泛的概念，它可以包括國家通用手語和中國各地方手語。
2018年，經(jīng)上海市語委推薦我們以特殊人群語言文字研究為特色申報了教育部、國家語委的“國家語言文字推廣基地”，2019年底、2020年初，我們獲批成為“上海市語言文字推廣基地”和“國家語言文字推廣基地”。這個過程的每一步都來之不易，記得我們當時在申報答辯時，有專家提問為何一定要以國家語言文字推廣基地的形式來進行相關(guān)研究。我回答，特殊人群的語言文字使用雖然涉及的人群相對較少，但相關(guān)研究需要得到國家和社會各界的認可和支持，以及制度、經(jīng)費保障，否則難以長期持續(xù)。
2017年，“中國手語及聾人研究中心”在上海大學成立，倪蘭教授（右一）
AI科技評論：上海大學對手語研究是很支持的，這很難得。國內(nèi)還有哪些手語語言學研究團隊？
倪蘭：上海大學對于一些特色研究方向還是非常支持的，我們的研究中心設(shè)在文學院中文系，但我們有很多交叉研究，分布在計算機工程與科學學院、通信學院、社會學院、新聞學院、電影學院、外語學院等。
目前，包括復旦大學、華東師范大學、廈門大學等在內(nèi)的許多外語界的老師也開始進入手語研究這一領(lǐng)域。當時我在復旦的師弟師妹們畢業(yè)后也分別進入不同的學校，如北京師范大學、上海外國語大學、上海師范大學、燕山大學和魯東大學等，他們在各自的崗位上繼續(xù)著手語研究。
總的來說，在國外，手語語言學研究已經(jīng)是一個相對成熟的研究領(lǐng)域。在國內(nèi)，手語研究仍然被視為一個特殊的研究方向。但我相信，隨著時間的推移，手語研究將得到更廣泛的認可和發(fā)展。
AI科技評論：手語語言學研究是一個方向，但國內(nèi)關(guān)于手語的研究文章主要集中在計算機領(lǐng)域?，F(xiàn)在您會和計算機視覺專家合作開發(fā)手語識別系統(tǒng)嗎？
倪蘭：確實存在這樣的現(xiàn)象。從2003年開始，我們著手進行手語語言學研究項目時，發(fā)現(xiàn)計算機領(lǐng)域開展手語識別研究有不少機構(gòu)，如哈爾濱工業(yè)大學、中國科學技術(shù)大學和中國科學院等都有相關(guān)研究團隊，他們的研究主要集中在手語識別上，特別是孤立手勢的識別。
語言數(shù)據(jù)調(diào)查和分析，是語言學研究的基本方法，也是語言學理論研究的基礎(chǔ)。手語語言學者的研究主要是調(diào)查和描寫手語的實際使用情況，研究手語內(nèi)部結(jié)構(gòu)規(guī)律，語言的發(fā)展變化，以及與有聲語言的聯(lián)系和區(qū)別等。
AI科技評論：實地調(diào)查，意思是建設(shè)語料庫嗎？這對CV學者來說如獲珍寶吧？
倪蘭：語料庫建設(shè)是語言學的一種重要研究方法。對于語言學研究者來說，語料庫是進行語言研究的重要基礎(chǔ)，是觀察語言現(xiàn)象的重要來源。手語語言學研究的核心目標是通過語料來分析手語內(nèi)部結(jié)構(gòu)，建設(shè)手語語料庫是我們進行研究的基礎(chǔ)工作。
境外很多研究機構(gòu)，包括香港、臺灣地區(qū)都有公開發(fā)布的手語數(shù)據(jù)庫，但中國大陸目前還沒有公開發(fā)布的相關(guān)手語數(shù)據(jù)庫。2017年，我們承擔了國家語委和上海語委的手語信息化項目，2018年，完成了部分數(shù)據(jù)采集和數(shù)據(jù)庫建設(shè)的初步工作，并在年底舉辦了研討會。當時我們邀請了國內(nèi)計算機領(lǐng)域做圖像識別的專家，對我們的數(shù)據(jù)庫提出很多建議。目前，我們的語料庫已經(jīng)收集了8萬多條數(shù)據(jù)，其中包括國家通用手語詞匯，以及許多手勢的地方變體，即同一個手勢的多種打法。未來我們希望將全國的地方手語數(shù)據(jù)都納入這個語料庫，成為中國手語研究的一個重要的數(shù)據(jù)來源。
在采集手語數(shù)據(jù)時，國際上的通行做法是，聽人不能直接參與調(diào)查，因為他們的參與可能會影響聾人自然地使用手語。因此，我們需要培養(yǎng)一批懂語言調(diào)查的聾人研究者，讓他們深度參與語料庫建設(shè)項目。在過去幾年中，我們在上海建立了一支團隊，包括年輕的和年紀較大的聾人，他們幫助我們采集數(shù)據(jù)，并參與各類手語項目。
手語語料庫的建設(shè)是一項社會性和系統(tǒng)性的工作，它需要各類人員的參與和合作。這個過程不僅是為了收集數(shù)據(jù)，也是為了培養(yǎng)聾人社群中的研究者。如果沒有來自這個群體的研究者，很難獲得有價值的數(shù)據(jù)，也很難得到聾人群體的廣泛認同。
AI科技評論：手語跨學科合作是合作哪些方面，遇到過哪些挑戰(zhàn)性問題？
倪蘭：與計算機專業(yè)背景的專家合作，我們希望通過語言學視角觀察到的規(guī)律和原則來輔助計算機視覺技術(shù)識別手語動作和意義。
目前的圖像識別和語言識別技術(shù)可以在不清楚語言內(nèi)部結(jié)構(gòu)的情況下，通過大量數(shù)據(jù)集訓練讓機器自動學習并得出結(jié)果。但在小樣本數(shù)據(jù)情況下，提供關(guān)鍵數(shù)據(jù)的標注可能會有助于減少誤差，提高識別的準確率。
手語識別技術(shù)發(fā)展的挑戰(zhàn)可能在于目前我們還無法提供大規(guī)模的標注數(shù)據(jù)。
國內(nèi)一些科技公司研發(fā)手語數(shù)字人所依據(jù)的數(shù)據(jù)具有很大的同質(zhì)性，缺乏突破。在這一領(lǐng)域要實現(xiàn)大的突破，需要有規(guī)范化、標準化，并且應用場景豐富、準確性高的標注數(shù)據(jù)，這是我們未來工作的一個重要方向。
手語數(shù)據(jù)庫建設(shè)由于肖像權(quán)、知識產(chǎn)權(quán)保護等問題，對外公開發(fā)布也是一個巨大挑戰(zhàn)。如何保證數(shù)據(jù)公開不會被他人濫用，如何設(shè)置權(quán)限來保護這些數(shù)據(jù)，同時確保它們能夠廣泛用于科學研究和教學。
AI科技評論：我知道手語作為一種視覺表現(xiàn)力極強的語言，其面部表情和頭部動作對于整個意義的表達至關(guān)重要，但如果涉及到肖像問題，會有合適的數(shù)據(jù)公開方式嗎，也就是說與“手語計算”領(lǐng)域的合作是不是更難？
倪蘭：在參加國際會議時，我們了解到一些處理方法，比如對眼睛部分打馬賽克，但這樣做會丟失重要的語義信息，如眼睛開合、皺眉等，這些都是手語理解中不可或缺的表情要素，一旦這些部分被模糊處理，就很難準確傳達手語的意義。
在數(shù)據(jù)采集中，除了基本的手勢詞匯，我們還采集了長篇語料，我們的學生正在對這些數(shù)據(jù)進行標注，目前我們使用的是單機版的標注方式。未來，我們希望能夠?qū)⑵浒l(fā)展為網(wǎng)絡版，以便更多人可以共同參與標注。
AI科技評論：我們非常關(guān)注這些前沿技術(shù)是否您的手語跨學科研究有影響，包括去年推出的大型語言模型ChatGPT，以及今年的文生視頻模型Sora。這些人工智能的最新進展，您和團隊有接觸嗎？
倪蘭：我們一直在密切關(guān)注信息技術(shù)領(lǐng)域的快速發(fā)展，也鼓勵學生嘗試使用這些技術(shù)，了解相關(guān)的性能。這些技術(shù)從有聲語言角度看，在語言結(jié)構(gòu)和精細度方面已經(jīng)取得了令人難以置信的效果。但在手語領(lǐng)域，我還沒有看到特別出色的應用。
在美國，除了紐約城市大學，還有賓夕法尼亞大學也在進行手語識別方面的相關(guān)研究。圣地亞哥的索爾克研究所、芝加哥大學、加勞德特大學等研究機構(gòu)也是手語語言學研究的重要陣地，他們在語言本體研究方面做了大量工作。
AI科技評論：最后想請問您，最希望得到計算機科學家的哪些支持？
倪蘭：計算機科學家需要手語語言學的標注語料，同時語言學也希望信息科學能夠為語言學研究提供技術(shù)支持，如語料的切分和機器的自動標注。除此之外，兩個領(lǐng)域的研究者需要共同探討哪些標注有助于手語識別和合成技術(shù)的發(fā)展，這些方面有可能也是我們?nèi)祟愖R別語義、理解語言、使用語言的重要標記。
在本次對話中，倪教授還分享了手語語言學研究，如何為計算機視覺技術(shù)在捕捉和分析手語動作時提供理論指導。歡迎同道添加本文作者吳彤微信（icedaguniang ）交流。
｜GAIR live 圓桌預告
3月18日晚8點～10點，雷峰網(wǎng)將舉辦主題為「AI+手語識別，技術(shù)革新與應用前景」的線上圓桌論壇。
本次論壇嘉賓有，美國紐約城市大學田英利教授、上海交通大學自動化系蘇劍波教授、上海大學計算機工程與科學學院方昱春教授、上海大學文學院倪蘭教授，共同分享他們的見解和研究成果。
“全球人工智能與機器人大會”（GAIR）始于2016年雷峰網(wǎng)與中國計算機學會（CCF）合作創(chuàng)立的CCF-GAIR大會，旨在打造人工智能浪潮下，連接學術(shù)界、產(chǎn)業(yè)界、投資界的新平臺，而雷峰網(wǎng)“連接三界”的全新定位也在此大會上得以確立。
經(jīng)過幾年發(fā)展，GAIR大會已成為行業(yè)標桿，是目前為止粵港澳大灣區(qū)人工智能領(lǐng)域規(guī)模最大、規(guī)格最高、跨界最廣的學術(shù)、工業(yè)和投資領(lǐng)域盛會。
GAIR Live作為雷峰網(wǎng)旗下視頻直播品牌，旨在輸出新鮮、深度、原創(chuàng)的大咖訪談與對話內(nèi)容，打造輻射產(chǎn)、學、研、投的特色線上平臺。
｜手語相關(guān)資料
1，《專訪紐約城市大學田英利教授：用多通道、多模態(tài)的方法「看懂」手語》https://mp.weixin.qq.com/s/jgng2-6tiG9HC9C7FEbMLA
2，《Multi-Modal Multi-Channel American Sign Language Recognition https://gairdao.com/doi/10.1142/S2972335324500017
｜IJAIRR正在邀約論文和專題
《國際人工智能與機器人研究期刊》（International Journal of Artificial Intelligence and Robotics Research，簡稱IJAIRR），是由新加坡GAIR研究院與世界科技出版社聯(lián)合出版的國際學術(shù)期刊。
作為全球首本專注于人工智能（AI）、機器人技術(shù)（Robotics）以及基礎(chǔ)科學交叉研究（Research）的期刊，IJAIRR致力于成為AI與機器人領(lǐng)域研究的權(quán)威發(fā)布平臺。
IJAIRR歡迎各類研究論文、評論文章、短篇論文、書評以及專題（Special Issue）形式的投稿。
我們特別關(guān)注那些在頂級AI會議上發(fā)表并現(xiàn)場展示，但缺乏長期沉淀平臺的優(yōu)秀論文。為了給這些論文及其作者提供一個更廣泛的發(fā)表和推廣渠道，IJAIRR現(xiàn)正積極邀約相關(guān)論文投稿。
（1）“如果您在本領(lǐng)域頂級會議上發(fā)表的文章（或即將發(fā)表）不超過一年，我們將協(xié)助您稍作修改后在IJAIRR期刊上發(fā)表。
（2）如果您領(lǐng)導的團隊在頂級會議上有多篇論文發(fā)表，并希望在IJAIRR上圍繞特定主題策劃一個專題（Special Issue），我們誠摯邀請您深入討論合作事宜。
（3）如果您是頂級會議的組織者，并有意與IJAIRR合作，針對特定會議策劃一個專題（Special Issue），我們也期待與您具體商討合作細節(jié)。
IJAIRR期待與您攜手，共同推動人工智能與機器人研究的發(fā)展。
聯(lián)系人：IJAIRR創(chuàng)刊主編朱曉蕊博士，xiaorui_zhu@gair.sg
關(guān)于期刊創(chuàng)刊主編等更多信息，可點擊:https://mp.weixin.qq.com/s/gEctQolbEqqf2eVwBAkdoA
關(guān)于雷峰網(wǎng)、GAIR大會、GAIR研究院（期刊和在線社區(qū)）的詳細介紹，請閱讀朱曉蕊教授的專訪:https://mp.weixin.qq.com/s/Qn7Gc3rVijQhhK0hTSrgxw
IJAIRR期刊的主頁鏈接為：https://gairdao.com/journals/ijairr
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
