0
| 本文作者： 我在思考中 | 2022-05-05 11:55 |
作者 | 丁效
整理 | 維克多
在過去十年的人工智能浪潮中，以深度學(xué)習(xí)為代表的人工智能技術(shù)已基本實(shí)現(xiàn)了視覺、聽覺等感知智能，但依然無法很好地做到思考、推理等認(rèn)知智能。
4月9日，哈爾濱工業(yè)大學(xué)計(jì)算學(xué)部副研究員丁效，在AI TIME青年科學(xué)家——AI 2000學(xué)者專場(chǎng)論壇上，做了《基于神經(jīng)符號(hào)的認(rèn)知推理方法》的報(bào)告，分享了神經(jīng)網(wǎng)絡(luò)方法執(zhí)行符號(hào)推理任務(wù)的最新進(jìn)展，同時(shí)也給出了將符號(hào)知識(shí)注入神經(jīng)網(wǎng)絡(luò)的思路以及如何將神經(jīng)網(wǎng)絡(luò)與符號(hào)系統(tǒng)相融合。
以下是演講原文，AI科技評(píng)論做了不改變?cè)獾恼怼?/span>
今天和大家分享神經(jīng)符號(hào)認(rèn)知推理方面的研究工作。人工智能（AI）已經(jīng)歷了第一代符號(hào)智能，第二代感知智能以及當(dāng)前的認(rèn)知智能。認(rèn)知智能是一種融合的狀態(tài)，強(qiáng)調(diào)表示學(xué)習(xí)與復(fù)雜知識(shí)推理的有機(jī)結(jié)合是人工智能進(jìn)步的階梯。
實(shí)際上，在自然語言處理（NLP）領(lǐng)域，預(yù)訓(xùn)練模型規(guī)模以每年約10倍的速度增長(zhǎng)， 模型的通用智能水平顯著增強(qiáng)。如上圖，無論是計(jì)算的復(fù)雜度、參數(shù)以及訓(xùn)練時(shí)間，隨著時(shí)間的推移，都有跨越性的發(fā)展，也促使模型性能大幅度提升。
同時(shí)，預(yù)訓(xùn)練語言模型還有很大的發(fā)展空間。例如詢問GPT-3：烤箱和鉛筆哪個(gè)更重？腳有幾只眼睛？等問題，它的回答的結(jié)果差強(qiáng)人意。根本原因是缺少對(duì)知識(shí)的推理的能力，以及對(duì)推理結(jié)果的可解釋性。
如何解決？我認(rèn)為需要開發(fā)新的計(jì)算范式，即將基于感知的深度學(xué)習(xí)和基于認(rèn)知的符號(hào)計(jì)算，進(jìn)行融合。
傳統(tǒng)基于符號(hào)的表示，例如在NLP領(lǐng)域，對(duì)于句子的處理是分詞，文本中有1萬個(gè)詞就對(duì)應(yīng)1萬維。
現(xiàn)在分布式的表示方法是基于神經(jīng)網(wǎng)絡(luò)，需要學(xué)習(xí)出每個(gè)詞的向量，此向量維度不高，也不會(huì)那么稀疏，它是低維稠密的實(shí)數(shù)值向量，很容易捕獲文本的語義信息。
利用符號(hào)系統(tǒng)和利用上下文表示的系統(tǒng)有什么區(qū)別？首先對(duì)于詞匯的理解，一定離不開上下文的語義的理解。例如：小明離開星巴克和喬布斯離開蘋果公司，同樣是離開一詞，前者可能表示消費(fèi)完了，離開某個(gè)商店，后者可能表示辭職。因此，兩種語義是截然不同的。
傳統(tǒng)的NLP任務(wù)從語料中提取特征，利用統(tǒng)計(jì)關(guān)系學(xué)習(xí)建模語義結(jié)構(gòu)，屬于符號(hào)系統(tǒng)處理方法。給定若干個(gè)任務(wù)，例如共旨消解、語義角色標(biāo)注、依存分析或者NER等等任務(wù)，傳統(tǒng)方法是手工提取一些特征，然后把特征輸入到一些統(tǒng)計(jì)模型當(dāng)中，然后得出分類結(jié)果、預(yù)測(cè)結(jié)果。
傳統(tǒng)的 NLP的處理方式，提取特征可以認(rèn)為是符號(hào)系統(tǒng)，即手工提取的特征本身就可以用來解釋最后的預(yù)測(cè)結(jié)果，這是典型的可解釋的方式。
基于神經(jīng)網(wǎng)絡(luò)的分布式的語義表示，在處理各種NLP任務(wù)時(shí)，“省略”了特征提取步驟，有幾個(gè)特點(diǎn)：1. 單詞用稠密的低維向量表示；2.上下文語義表示是單詞語義表示的組合；3.表示向量與組合方式需要在大量的數(shù)據(jù)上進(jìn)行訓(xùn)練；4.能夠得到詞的任務(wù)特異表示。
雖然運(yùn)用神經(jīng)網(wǎng)絡(luò)能夠得到遠(yuǎn)超以前的性能，但也有“需要大量訓(xùn)練數(shù)據(jù)”、“可解釋性差”、“推理基于表面特征”等缺點(diǎn)。
神經(jīng)方法和符號(hào)方法各有哪些優(yōu)缺點(diǎn)？符號(hào)AI對(duì)于規(guī)則、知識(shí)，能夠可程序化，可以用編程的方式直接把規(guī)則編寫到程序當(dāng)中，然后可以進(jìn)行精確、嚴(yán)格的匹配、推理，得到的結(jié)果也是符合規(guī)則的，因此解釋性強(qiáng)。缺點(diǎn)是構(gòu)造成本太高，覆蓋率低，穩(wěn)定性也不太夠。
神經(jīng)方法的優(yōu)點(diǎn)是表示能力非常強(qiáng)，任務(wù)的適應(yīng)性很強(qiáng)，無論生成任務(wù)，還是分類任務(wù)，亦或回歸任務(wù)都能“拿下”。缺點(diǎn)是學(xué)習(xí)最簡(jiǎn)單的模式，距離人的智慧還有很大的距離，以及一直被詬病的黑盒、不可解釋性等等。
顯然，如果有方法將神經(jīng)與符號(hào)相融合就能優(yōu)勢(shì)互補(bǔ)。目前，有三種方法可供參考：
1.神經(jīng)網(wǎng)絡(luò)方法執(zhí)行符號(hào)推理任務(wù)，神經(jīng)網(wǎng)絡(luò)在此過程當(dāng)中可能幫助我們把詞進(jìn)行泛化。
2. 符號(hào)知識(shí)注入神經(jīng)網(wǎng)絡(luò)。進(jìn)行損失函數(shù)設(shè)計(jì)，或者進(jìn)行一些正則化的約束，或者進(jìn)行數(shù)據(jù)增廣等操作。
3. 神經(jīng)網(wǎng)絡(luò)與符號(hào)系統(tǒng)相融合。即不以符號(hào)為主，也不以神經(jīng)為主，而是進(jìn)行有機(jī)融合。
在NLP處理領(lǐng)域，如果想獲得以“類人”方式學(xué)習(xí)和思考的機(jī)器，需要在語義合成、推理、常識(shí)學(xué)習(xí)，學(xué)會(huì)學(xué)習(xí)等四個(gè)方面努力。NLP中的推理是指文本推理能夠推動(dòng)另外三個(gè)任務(wù)不斷的進(jìn)步。
文本推理是指給定文本形式的前提(Premise)與前提相關(guān)的某一假設(shè)(Hypothesis)，建模文本語義與文本結(jié)構(gòu)，以判斷前提與假設(shè)之間的關(guān)系。具體的例子如下圖所示：
文本推理有三個(gè)典型的任務(wù)，文本蘊(yùn)含、因果推理以及故事結(jié)尾預(yù)測(cè)。結(jié)合認(rèn)知的文本推理，其實(shí)來源于認(rèn)知科學(xué)當(dāng)中的雙過程的理論。
雙過程理論是指人的思考和學(xué)習(xí)是有兩個(gè)系統(tǒng)：直覺系統(tǒng)和邏輯系統(tǒng)。直覺系統(tǒng)幫助我們進(jìn)行一些直覺的無思決策，快速回答問題；邏輯系統(tǒng)要調(diào)用大腦當(dāng)中存儲(chǔ)的知識(shí)進(jìn)行邏輯的推理。
下面介紹實(shí)現(xiàn)剛才提到的三種不同認(rèn)知推理任務(wù)的方法。
符號(hào)推理的任務(wù)有很多，自動(dòng)定理證明、多項(xiàng)選擇問答、邏輯規(guī)則歸納。由于時(shí)間有限，主要介紹多項(xiàng)選擇問答任務(wù)。
在去年的EMNLP 2021一篇論文中，我們采用自然邏輯，幫助完成多項(xiàng)式選擇的問答任務(wù)。
自然邏輯是一種語義單調(diào)性的邏輯系統(tǒng)，它主要是定義了7種單詞之間的語義關(guān)系，包括等價(jià)、前向蘊(yùn)含、反向蘊(yùn)含、前向蘊(yùn)含、反義、并列、覆蓋、獨(dú)立等等。然后我們要在遵循自然邏輯的前提下，在文本上進(jìn)行推理，例如把句子進(jìn)行增刪改操作，然后保持語義的不變性，進(jìn)行替換。
例如：
給定句子：所有的動(dòng)物需要水
自然邏輯：動(dòng)物 ? (反向蘊(yùn)含) 狗
替換操作后：所有的動(dòng)物需要水 ? 所有的狗需要水
推理中的換詞對(duì)NLP中的多項(xiàng)選擇問答任務(wù)非常有必要。例如上圖中的任務(wù)形式：給定問題：嚙齒動(dòng)物吃植物？知識(shí)庫當(dāng)中有一條知識(shí)是：松鼠吃松子。
第一步需要進(jìn)行單詞的替換，將嚙齒動(dòng)物替換成倉鼠，然后把植物替換成果實(shí)，或者把植物可以替換成莊稼。
接下來不斷替換，把植物替換成谷物，把果實(shí)替換成堅(jiān)果，把嚙齒動(dòng)物替換成田鼠，經(jīng)過一步一步的的替換，最終替換到了知識(shí)庫當(dāng)中的某一條知識(shí)。因此，基于自然邏輯進(jìn)行多項(xiàng)選擇問答這條路徑就是可解釋的。其實(shí)，不僅是可以替換，也可以增加詞、刪除詞、修改詞。
問題在于是基于語義詞典進(jìn)行詞的替換，而語義詞典是非常有限的。再者沒有考慮上下文的語義關(guān)系。
引入神經(jīng)網(wǎng)絡(luò)的方法，可以將詞的替換直接進(jìn)行神經(jīng)化。具體過程可以分為4步：
1. 利用預(yù)訓(xùn)練語言模型生成候選單詞
2. 判斷原單詞和候選單詞之間的語義關(guān)系
3. 根據(jù)上下文的單調(diào)性將詞級(jí)別的語義關(guān)系映射到句子級(jí)別
4. 保留滿足恒等和反向蘊(yùn)含關(guān)系的候選句
符號(hào)知識(shí)注入神經(jīng)網(wǎng)絡(luò)的方式有很多，可以利用邏輯規(guī)則約束神經(jīng)網(wǎng)絡(luò)的模型；可以利用基于邏輯規(guī)則進(jìn)行數(shù)據(jù)增強(qiáng)的任務(wù)。
例如數(shù)據(jù)增強(qiáng)，給定三元組 B的首都是A（A,首都,B），可以擴(kuò)展出A位于B。具體一些，知識(shí)庫總已經(jīng)有: （北京，首都，中國(guó)），則基于該規(guī)則可以補(bǔ)充額外的三元組（北京，位于，中國(guó)）。
如何利用邏輯規(guī)則，約束神經(jīng)模型？上圖是事件時(shí)間常識(shí)知識(shí)預(yù)測(cè)任務(wù)，其中預(yù)測(cè)為對(duì)應(yīng)的時(shí)間單元：給定事件起床，推測(cè)頻率、持續(xù)時(shí)間以及典型發(fā)生時(shí)間。
這些事件的常識(shí)知識(shí)有什么用？可以把事件的常識(shí)知識(shí)注入到預(yù)訓(xùn)練語言模型當(dāng)中，讓模型對(duì)事件時(shí)間的常識(shí)知識(shí)能夠掌握，會(huì)讓模型在進(jìn)行時(shí)間相關(guān)的推理的工作中更加高效。
存在的問題在于，從文本中無監(jiān)督抽取的時(shí)間常識(shí)可能存在報(bào)告偏差（Reporting Bias）。例如常見的情況的在文本中并未顯式提及：自然文本中幾乎不會(huì)有“睡醒之后，我一般要花幾分鐘的時(shí)間起床”等類似的表達(dá)！ 在文本表達(dá)中會(huì)對(duì)非尋常現(xiàn)象加以強(qiáng)調(diào)：我每天都得花一個(gè)小時(shí)才能起床！。
如何解決？利用不同維度間的時(shí)間常識(shí)知識(shí)之間的約束關(guān)系，減緩報(bào)告誤差。對(duì)于“我是在媽媽準(zhǔn)備早餐期間起床的”，利用事件間時(shí)序關(guān)系可以得出：起床的持續(xù)時(shí)間短于準(zhǔn)備早餐 ；“自己在家準(zhǔn)備早餐，十分鐘就可以搞定” 可以得出：準(zhǔn)備早餐的持續(xù)時(shí)間大概約為10分鐘。
下表詳細(xì)總結(jié)了類似于上述所有的可能的互補(bǔ)關(guān)系：
此規(guī)則怎樣利用？我們?cè)O(shè)計(jì)了基于軟邏輯規(guī)則的時(shí)間的常識(shí)預(yù)測(cè)。給定輸入：我是在媽媽<e2>準(zhǔn)備早餐</e2>期間<e1>起床</e1>的，得到原子式：<HRCHY((e1,e2),during>，然后將原子式概括成概率軟邏輯規(guī)則，如下圖。
將概率軟邏輯規(guī)則放到神經(jīng)網(wǎng)絡(luò)模型當(dāng)中，將其制作成損失函數(shù)。這一步是在交叉熵?fù)p失函數(shù)的基礎(chǔ)上，添加了概率軟邏輯的約束損失，使得模型在做的時(shí)間推理的過程當(dāng)中，既考慮概率軟邏輯的規(guī)則，同時(shí)考慮對(duì)于語義理解之后的的推理結(jié)果。
融合神經(jīng)和符號(hào)的推理系統(tǒng)，在進(jìn)行數(shù)值運(yùn)算，因果邏輯推理，一階謂詞邏輯規(guī)則等方面具有優(yōu)勢(shì)。它可以利用神經(jīng)網(wǎng)絡(luò)模塊，顯式建模符號(hào)規(guī)則。
傳統(tǒng)的因果推理模型多數(shù)以黑盒方式，直接從標(biāo)注的因果事件對(duì)中學(xué)習(xí)因果知識(shí)。因此可能利用部分與標(biāo)簽存在相關(guān)關(guān)系的統(tǒng)計(jì)特征做出判斷，致推理結(jié)果的不穩(wěn)定，不可靠，不可解釋。
如何還原背后的因果決策機(jī)制？我們提出引入中間證據(jù)事件，還原背后的因果邏輯鏈條。這種因果邏輯鏈條提供了更強(qiáng)的可解釋性。在ACL 2021上，我們的工作ExCAR: 事理圖譜知識(shí)增強(qiáng)的因果推理框架，能夠從預(yù)先構(gòu)建的事理圖譜中獲取中間證據(jù)事件。
具體而言是使用條件馬爾可夫神經(jīng)邏輯網(wǎng)絡(luò)(CMNLN)，其中邏輯網(wǎng)絡(luò)具有較強(qiáng)的可解釋性與可靠性。神經(jīng)邏輯網(wǎng)絡(luò)是指利用神經(jīng)網(wǎng)絡(luò)表示規(guī)則，并賦予每個(gè)因果規(guī)則以權(quán)重(因果強(qiáng)度)，以應(yīng)對(duì)規(guī)則集合中可能存在的噪音與統(tǒng)計(jì)關(guān)系的復(fù)雜性。條件馬爾可夫還能支持因果疊加效應(yīng)，即對(duì)于同一規(guī)則，不同的前件可能對(duì)因果強(qiáng)度帶來不同的影響?；具壿嬍牵鹤C據(jù)事件→邏輯規(guī)則→因果邏輯圖。
下面從人機(jī)交互的角度，思考機(jī)器學(xué)習(xí)。當(dāng)前的機(jī)器學(xué)習(xí)過程：極度依賴靜態(tài)的標(biāo)注數(shù)據(jù)集。例如標(biāo)簽蘊(yùn)含的信息有限，這導(dǎo)致學(xué)習(xí)效率低下、對(duì)于復(fù)雜任務(wù)，標(biāo)注尤為昂貴、數(shù)據(jù)過時(shí)導(dǎo)致模型無法使用。
機(jī)器向人的學(xué)習(xí)遠(yuǎn)遠(yuǎn)不只是說去學(xué)標(biāo)注的數(shù)據(jù)，可以學(xué)習(xí)的種類非常多樣，例如點(diǎn)擊用戶的行為數(shù)據(jù)，以及用戶的解釋信息。實(shí)際上用戶的解釋的信息對(duì)于機(jī)器學(xué)習(xí)而言是非常重要的。
如上圖的例子，小明根據(jù)ab/b=a，推導(dǎo)出SinX/n=six。老師則認(rèn)為這是不對(duì)的，因?yàn)镾in是整體，是三角函數(shù)。
因此，基于上述觀察，我們?cè)贏CL 2022會(huì)議論文中提出，不僅進(jìn)行因果推理的任務(wù)，還需要給出相應(yīng)的解釋。不只是針對(duì)某因果對(duì)解釋，可以是概念性的解釋。
例如將鐵塊加入鹽酸中，導(dǎo)致鐵塊被溶解。需要生成概念性的解釋酸具有腐蝕性，顯然這不只是因果對(duì)的解釋。
當(dāng)前的因果推理系統(tǒng)仍缺乏此類常識(shí)。例如，現(xiàn)有的因果推理數(shù)據(jù)集只提供因果對(duì)及其標(biāo)簽，缺少對(duì)因果關(guān)系原理層面的解釋。而人類能夠同時(shí)運(yùn)用具體的因果知識(shí)，以及對(duì)于因果機(jī)制的深入理解以高效、可靠地推理出因果關(guān)系。因此，未來認(rèn)知推理，它一定需要和腦科學(xué)進(jìn)行結(jié)合。
雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))雷峰網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
