1
| 本文作者： AI研習社-譯站 | 2018-06-26 20:26 |
雷鋒網(wǎng)按：本文為雷鋒字幕組編譯的技術博客，原標題Neural Turing Machines: a fundamental approach to access memory in deep learning，作者為Jonathan Hui。
翻譯 | 趙朋飛 校對 | 凡江
內存是大腦和計算機的主要部件。在很多深度學習領域，我們通過和記憶匹配來擴展深度網(wǎng)絡的能力，例如，提問與回答，我們先記憶或存儲事先處理的信息，然后使用這些信息回答問題。來自神經(jīng)圖靈機（NTM）論文（https://arxiv.org/pdf/1410.5401.pdf）：
我們通過將神經(jīng)網(wǎng)絡連接到外部存儲資源來擴展神經(jīng)網(wǎng)絡的功能，通過記憶過程與這些資源進行交互。
在外行看來，我們創(chuàng)建了一個記憶結構，通常是數(shù)組，我們向記憶結構中寫入或從其中讀取數(shù)據(jù)。聽起來很簡單：但事實并非如此。首先，我們沒有無限的存儲空間用來保存我們遇到的圖片或聲音，我們是通過相似性或相關性來訪問信息（并不完全匹配）。在這篇文章中，討論了如何使用NTM來處理信息。我們之所對這篇論文感興趣，主要是因為在包括NLP和元學習等很多研究領域，她都是一個重要的起點。
記憶結構
我們的記憶結構Mt包含N行，M個元素。每行代表一條信息（記憶），例如，你對表兄的描述。
讀取
通常編程中，我們使用Mt[i]訪問記憶。但對于人工智能來說，我么通過相似性獲取信息。所以我們推出了一個使用權重的閱讀機制，也就是說，我們得到的結果是內存的加權和。
所有權值總和等于1。
你可能立即會問這樣做的目的是什么。讓我們通過一個例子來解釋。一個朋友遞給你一杯飲料，它嘗起來有點像茶，并感覺像牛奶，通過提取茶和牛奶的記憶資料，應用線性代數(shù)方法得出結論：它是珍珠奶茶。聽起來很神奇，但在單詞潛入中，我們也使用了相同的線性代數(shù)來處理關系。在其他的例子比如提問和回答中，基于累計的知識來合并信息是非常重要的。一個記憶網(wǎng)絡會讓我們很好的達成目標。
我們如何創(chuàng)建這些權值呢? 當然，需要依靠深度學習?？刂破鲝妮斎胄畔⒅刑崛√卣鳎╧t），我們利用它計算權值。例如，你打電話時，不能立即分辨出對方的聲音，這個聲音很像你的表弟，但有似乎又像你的哥哥。通過線性代數(shù)，我們可能分辨出他是你的高中同學，即便那個聲音完全不像你記憶中的樣子。
通過計算權值w，對比kt和我們每條記憶的相似性，我們用余弦相似性計算出了一個分數(shù)K。
這里， u是我們提取的特征量kt，v代表我們內存中的每一行。
我們將softmax函數(shù)應用于分數(shù)K，來計算權值w。 βt 被添加進來用于放大或縮小分數(shù)的差異。 例如，如果它大于1，就放大差異。w基于相似性檢索信息，我們稱之為內容尋址。
寫入
我們如何將信息寫入記憶。在 LSTM中，一個記憶單元的內部狀態(tài)由之前的狀態(tài)和當前輸入值共同決定。借用相同的情形，記憶的寫入過程也是由之前的狀態(tài)和新的輸入組成。這里我們先清除部分之前的狀態(tài)：
et是一個清除向量。 (計算過程就像LSTM中的輸入門一樣)
然后，我們寫入新的信息。
at是我們想添加的值。
這里，通過產(chǎn)生w的控制器，我們可以向記憶中寫入或讀取信息。
來源https://arxiv.org/pdf/1410.5401.pdf
尋址機制
我們的控制器通過計算w來提取信息，但是采用相似性（內容尋址）來提取信息還不夠強大。
補充
w表示我們記憶中當前的焦點（注意力）。在內容尋址中，我們的關注點只基于是新的輸入。然而，這不足以解釋我們最近遇到的問題。例如，你的同班同學在一小時之前發(fā)信息給你，你應該可以很容易 回想起他的聲音。在獲取新的信息時我們如何利用之前的注意力？我們根據(jù)當前的焦點和之前的焦點 計算出合并權值。是的，這挺起來有點像LSTM或GRU中的遺忘門。
根據(jù)之前的焦點和當前輸入計算出g。
卷積變換
卷積變換完成焦點的變換。它并不是特地為深度學習設計的。相反，她揭示了NTM如何執(zhí)行像復制與排序這樣的基礎算法。例如，不用通過訪問w[4]，我們想把每個焦點移動3行，也就是 w[i] ← w[i+3]。
在卷積變換中，我們可以將需要的焦點移動到指定的行，即w[i] ←卷積（w[i+3], w[i+4], w[i+5] ） 。通常，卷積僅僅是行的線性加權和： 0.3 × w[i+3] + 0.5 × w[i+4] + 0.2 × w[i+5]。
這是焦點變換的數(shù)學公式：
在很多深度學習模型中，我么忽略這一步或者設置s(i)為 0，s(0) = 1例外。
銳化
我們的卷積移位就像一個卷積模糊濾波器。所以在有需要時，我們會對權值采用用銳化技術，達到模糊的效果，γ將會是在銳化焦點時控制器輸出的另一個參數(shù)。
小結
我們使用權值w從記憶中檢索信息。w包括這些因素：當前輸入，以前的交點，可能的變換與模糊。這里是系統(tǒng)框圖，其中控制器輸出必要的參數(shù)，這些參數(shù)用于在不同的階段計算w。
更多文章，關注雷鋒網(wǎng)，添加雷鋒字幕組微信號（leiphonefansub）為好友
備注「我要加入」，To be an AI Volunteer ！
雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉載。詳情見轉載須知。
