0
深度神經網絡雖然在圖像，語音，機器人等方面取得了巨大的成功，但是這些成功通常局限在識別任務或者生成任務中，對于推理任務，常規(guī)的神經網絡通常是無能為力的。伯克利AI實驗室近期開通了博客，該博客的第一篇文章針對推理任務，提出了神經模塊網絡，通過訓練多個神經網絡模塊完成推理任務，每個神經網絡模塊負責一個推理步驟，對于不同的推理任務，動態(tài)的組合這些模塊，以生成針對不同問題的新網絡結構。
該文章的作者為 Jacob Andreas , 雷鋒網了解到，他是伯克利 NLP 四年級博士生，也是 BAIR 實驗室成員。他的個人主頁上的介紹寫著，“我希望能教計算機閱讀”，研究方向包括機器學習模型與結構化神經網絡方法。同時，他也是一個論文高產者，僅在今年就有多篇論文入選 ICML、ACL、CVPR 等主流國際頂級學術會議。雷鋒網對他發(fā)表的第一篇論文做了翻譯，全文如下：
假設我們正在構建一個家用機器人，并且希望它能夠回答有關周圍環(huán)境的問題。我們可能會問他這些問題：
如何確保機器人可以正確地回答這些問題？深度學習的標準方法是收集大量的問題，圖像和答案作為數據集，訓練一個單一的神經網絡，直接從問題和圖像映射到答案。如果大多數問題看起來像左邊的問題，目前我們已經有相似的圖像識別問題的解決方案，這些單一的方法是非常有效的：
但是對于右面的問題，這種單一的神經網絡就很難工作了：
在這里訓練好的單一網絡已經放棄了，猜測給出了該圖像中最普遍的顏色。是什么使得這個問題相比于上一個問題更難？即使圖像更清晰簡潔，該問題仍需要許多推理步驟：模型必須要首先找到藍色的圓柱體，找到具有相同大小的另一對象，然后確定其顏色，而不是簡單的識別圖像中的主要對象。這是一個復雜的計算，同時計算的復雜性與所提出的問題密切相關。不同的問題需要不同的步驟來解決。
深度學習中的主流范式是“一刀切”的方法：對于任何需要解決的問題，設計一個固定的模型架構，希望能夠捕獲關于輸入和輸出之間的一切關系，并通過標定好的訓練數據學習該模型的各種參數。
但現(xiàn)實世界的推理并不能以這種方式發(fā)揮作用：它涉及到各種不同的能力，不同的能力以新的方式結合以解決我們在現(xiàn)實世界中遇到的每一個新挑戰(zhàn)。我們需要的是一個模型，它可以動態(tài)地確定如何對擺在它面前的問題進行推理——一個可以選擇自己的結構的網絡。伯克利AI實驗室的研究者針對這一問題，提出了一類稱為神經模塊網絡（Neural Module Network， NMN）的模型，它將這種更加靈活的解決方案融入到問題解決過程中，同時也保留了深度學習有效的特性。
上面提到的推理問題涉及到三個不同的步驟：找到一個藍色圓柱找到其他與之相同尺寸的物體，確定其顏色。根據推理過程可以繪制下圖：
一個不同的問題可能涉及到不同的步驟，如果問題是“有多少東西與球有相同的大??？”可以會得到下面的推理步驟:
一些基礎的操作，例如“比較大小”，在不同的問題中是共享的，但是它們可能會通過不同的方式使用。MNM的關鍵思路是明確這種共享：使用兩個不同的網絡結構來回答上面的兩個問題，但是在涉及到相同基本操作的網絡之間實現(xiàn)共享權重。
對于這樣的新型網絡結構，如何進行學習？實際上研究者同時訓練了大量的不同的網絡，在適當的時候將參數綁在一起，而不是通過許多輸入/輸出對訓練單一的大型網絡。
上圖為幾種常見的深度學習網絡結構，包括DyNet 和TensorFlow Fold，通過動態(tài)地將它們結合在一起，即可以完成不同的推理任務。
在訓練過程結束時所獲得的并不是一個單一的深度網絡，而是一個神經“模塊”的集合，每個模塊都實現(xiàn)了一個推理的步驟。當希望在一個新的問題實例上使用訓練好的模型時，研究人員可以動態(tài)的組合這些模塊，以生成針對該問題的新網絡結構。
關于這個過程一個值得注意的事情是，訓練過程中不需要為單個模塊提供任何低級別的監(jiān)督：模型從來沒有看到藍色對象或者“左側”關系的孤立示例，模塊只能在較大的組合結構中學習，只有（問題，答案）對作為監(jiān)督，但訓練程序能夠自動推斷結構部件與其負責的計算之間的正確關系：
同樣的過程也能回答關于現(xiàn)實圖片的問題，甚至能夠回答其他知識源的問題，例如數據庫：
如何從問題得到推理藍圖
這整個過程的關鍵因素是收集如上所屬的高級“推理藍圖”。這些藍圖告訴我們，每個問題的網絡應如何布局，以及不同的問題如何互相關聯(lián)。但是這些藍圖是從哪里來的？
在對參考文獻1，2中的模型的初步研究中，研究者在設計特定問題的神經網絡和分析語法結構之間找到了驚人的聯(lián)系。語言學家長期以來一直認為，問題的語法與回答所需要的計算步驟的順序密切相關。由于自然語言處理方面的最新進展，可以使用現(xiàn)成的語法分析工具來自動提供這些藍圖的近似版本。
但從語言結構到網絡結構的準確映射仍然是一個具有挑戰(zhàn)性的問題，轉換過程中容易出錯。在后來的工作中，研究者轉向使用由人類專家制作的數據，它們用理想化的推理藍圖直接標注了一系列問題，而沒有依靠語言分析。通過學習模仿這些人類專家，該模型能夠大大提高預測的質量。最令人驚訝的是，當采用訓練好的模型去模仿專家，但允許它自己修改這些專家的預測，它能夠在不同的問題中找到比專家更好的解決方案。
盡管近些年來深度學習方法取得了顯著的成功，但許多問題仍然是一個挑戰(zhàn)，例如few-shot learning和復雜推理。這些問題正是結構化經典方法所閃耀的地方，例如語義解析和程序歸納。神經模塊網絡結合了經典人工智能方法和深度學習方法兩者的優(yōu)點：離散組合的靈活性和數據高效性，同時結合了深度網絡的表征力量。NMN已經在許多視覺和文本推理任務得到了成功。同時，研究者也在盡力將該方法應用到更多的AI任務中。
Neural Module Networks. Jacob Andreas, Marcus Rohrbach, Trevor Darrell and Dan Klein. CVPR 2016. (arXiv)
Learning to Compose Neural Networks for Question Answering. Jacob Andreas, Marcus Rohrbach, Trevor Darrell and Dan Klein. NAACL 2016. (arXiv)
Modeling Relationships in Referential Expressions with Compositional Modular Networks. Ronghang Hu, Marcus Rohrbach, Jacob Andreas, Trevor Darrell and Kate Saenko. CVPR 2017. (arXiv)
via berkeley.edu/blog/，雷鋒網編譯
雷峰網版權文章，未經授權禁止轉載。詳情見轉載須知。
