AI 究竟能否抓住推理的本質(zhì)，也就是，對(duì)分布在多個(gè)事實(shí)或記憶中的元素之間的遠(yuǎn)距離關(guān)系實(shí)現(xiàn)認(rèn)知？ 

為此，Alphabet 子公司 DeepMind 試圖從即將在 Arxiv.org 上發(fā)布的一項(xiàng)研究中找到答案，該研究提出了一種具有遠(yuǎn)距離推理能力的架構(gòu) MEMO 。按照研究人員說法，MEMO 有兩個(gè)新的組成部分：第一個(gè)介紹事實(shí)和存儲(chǔ)在外部存儲(chǔ)中的記憶之間的不同點(diǎn)，第二個(gè)則采用檢索系統(tǒng)，該系統(tǒng)允許在決定答案之前使用可變數(shù)量的“內(nèi)存躍點(diǎn)”。

通過這兩個(gè)部分，可以使之能夠解決新型推理任務(wù)。

雷鋒網(wǎng)注意到，這個(gè)架構(gòu)的靈感來源是海馬。論文的合著者寫道：

海馬以全新的方式支持單個(gè)經(jīng)驗(yàn)的靈活重組，以推斷出未觀察到的關(guān)系……這稱為推理。有趣的是，已經(jīng)有證據(jù)證明，海馬是通過一個(gè)被稱之為模式分離（pattern separation）的過程彼此獨(dú)立地存儲(chǔ)記憶，以最大程度地減少記憶之間的干擾。 最近的一項(xiàng)研究揭示了這一點(diǎn)：這些被獨(dú)立存儲(chǔ)記憶的整合出現(xiàn)在通過循環(huán)機(jī)制（該機(jī)制允許多個(gè)模式分離的代碼進(jìn)行交互并因此支持推理）進(jìn)行檢索的時(shí)候。 

由此，DeepMind 的工作從這項(xiàng)研究中獲得啟發(fā)，以研究和增強(qiáng)機(jī)器學(xué)習(xí)模型中的推理。 研究人員利用神經(jīng)科學(xué)文獻(xiàn)，設(shè)計(jì)了一個(gè)過程生成的任務(wù)，稱為配對(duì)聯(lián)想推理（paired associative inference，簡(jiǎn)稱 PAI），該任務(wù)旨在通過迫使 AI 系統(tǒng)學(xué)習(xí)抽象知識(shí)以解決先前未見的問題來獲取推理能力。 

隨之，研究者們構(gòu)建了 MEMO，它能夠在提供輸入查詢時(shí)會(huì)輸出一系列可能的答案；而且為了盡量減少必要的計(jì)算，答案還多采用表征的形式。

研究人員說，MEMO 在內(nèi)存中保留了一組事實(shí)，并學(xué)習(xí)了一種與某種機(jī)制配合使用的映射方式，該機(jī)制在使用內(nèi)存時(shí)具有更大的靈活性，并且它與典型的 AI 模型不同，因?yàn)樗褂?jì)算時(shí)間適應(yīng)了任務(wù)的復(fù)雜性。 在工作過程中，MEMO 從稱為 REMERGE 的人類聯(lián)想記憶模型中獲取線索，該記憶將從記憶中檢索到的內(nèi)容作為新查詢進(jìn)行再循環(huán)，并使用再循環(huán)過程中不同時(shí)間步長(zhǎng)檢索到的內(nèi)容之間的差異來計(jì)算模型是否已適應(yīng)在固定點(diǎn)上，隨后，MEMO 會(huì)輸出一個(gè)動(dòng)作，該動(dòng)作指示它是否希望繼續(xù)計(jì)算并查詢其內(nèi)存，或者是否是能夠響應(yīng)給定的任務(wù)。 

在測(cè)試中，DeepMind 的研究人員在 Facebook AI Research 的 bAbi 套件（雷鋒網(wǎng)按：一組 20 個(gè)評(píng)估文本理解和推理的任務(wù)）中將 MEMO 與兩個(gè)基準(zhǔn)模型以及當(dāng)前的最新模型進(jìn)行了比較，結(jié)果顯示，MEMO 能夠在 PAI 任務(wù)上實(shí)現(xiàn)最高的準(zhǔn)確性，并且它是唯一能夠在較長(zhǎng)的序列上成功回答最復(fù)雜的推理查詢的體系結(jié)構(gòu)。  

此外，與性能最佳的基準(zhǔn)模型的 10 個(gè)步驟相比，MEMO 僅需要三個(gè)“躍點(diǎn)（hops）” 即可完成一項(xiàng)任務(wù)。 在另一個(gè)需要模型在給定節(jié)點(diǎn)圖的情況下找到兩個(gè)節(jié)點(diǎn)之間最短路徑的任務(wù)中，面對(duì)更為復(fù)雜的節(jié)點(diǎn)圖，MEMO 比基準(zhǔn)模型的表現(xiàn)好出了 20％。

via Venturebeat，雷鋒網(wǎng)編譯。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。