0
雷鋒網(wǎng)AI科技評(píng)論消息：近日，在加拿大多倫多大學(xué)向量學(xué)院發(fā)起的“2017 - 2018年機(jī)器學(xué)習(xí)進(jìn)展與應(yīng)用”研討會(huì)上，神經(jīng)網(wǎng)絡(luò)之父Geoffrey Hinton做了一場(chǎng)報(bào)告《What is wrong with convolutional neural nets?》，在報(bào)告中Hinton講解了他多年來一直在做的研究工作，他稱之為“膠囊理論”（capsules theory）。
在報(bào)告中，他認(rèn)為“標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)”與真實(shí)的大腦神經(jīng)網(wǎng)絡(luò)相比有以下四個(gè)問題：
1、池化過程并沒有很好地模仿大腦中形狀知覺的心理過程——它不能解釋為什么我們?nèi)祟惸軐?nèi)在的坐標(biāo)系映射到物體上，以及為什么這些坐標(biāo)系這么重要；
2、池化解決的問題是錯(cuò)的——我們想要的是信息的同變性而不是不變性，是理清信息而不是丟棄信息；
3、池化沒有利用底層線性結(jié)構(gòu)——它沒有利用在圖形中能很好地處理方差最大來源的自然線形流形。
4、池化在處理動(dòng)態(tài)路由時(shí)很差勁——我們需要將輸入信息的每一部分路由到知道如何處理它的神經(jīng)元中，找到最佳的路徑就是在解析圖像。
Hinton提出了他“膠囊”（capsules）的概念。簡(jiǎn)單地說，這些“膠囊”就是在神經(jīng)網(wǎng)絡(luò)中構(gòu)建和抽象出的子網(wǎng)絡(luò)。什么意思呢？一個(gè)標(biāo)準(zhǔn)的神經(jīng)網(wǎng)絡(luò)，層與層之間是全連接的（也就是說，層1中的每個(gè)神經(jīng)元都可以訪問層0中的每個(gè)神經(jīng)元，并且其本身也可以被層2中每個(gè)神經(jīng)元所訪問），但這些連接并不一定都是有用的?！澳z囊理論”的方案是，神經(jīng)網(wǎng)絡(luò)由n個(gè)子網(wǎng)絡(luò)（膠囊）構(gòu)成，每個(gè)膠囊都專注于做一些單獨(dú)的任務(wù)，膠囊本身可能需要多個(gè)層網(wǎng)絡(luò)來實(shí)現(xiàn)。其輸出包括物體所屬類型的概率以及物體的狀態(tài)信息（比如位置、方向、大小、形變、速率、顏色等）。低層次膠囊輸出的參數(shù)會(huì)被轉(zhuǎn)換成高層級(jí)膠囊對(duì)實(shí)體狀態(tài)的預(yù)測(cè)，如果預(yù)測(cè)一致，則輸出這一層次的參數(shù)。
一個(gè)典型的膠囊將從多個(gè)低層次的膠囊中獲得信息（多維預(yù)測(cè)向量），然后尋找一個(gè)預(yù)測(cè)的緊致束（tight cluster of predication）。如果它能夠找到這個(gè)緊致束，那么它就會(huì)輸出實(shí)體在這個(gè)域內(nèi)類型存在的較高的概率，以及生成狀態(tài)的重心（狀態(tài)平均值）。這種方式可以很好地過濾掉噪聲，因?yàn)檩^高維度的巧合發(fā)生的概率很小，所以膠囊的方法要比“標(biāo)準(zhǔn)的神經(jīng)網(wǎng)絡(luò)”好很多。Hinton說，他這種“膠囊”的想法是受到腦科學(xué)中對(duì)“迷你列組織”（mini-column organization）研究的很大的啟發(fā)。
此外，據(jù)雷鋒網(wǎng)了解，關(guān)于“膠囊理論”的研究Hinton已在多個(gè)場(chǎng)合做過類似的報(bào)告，不過目前Hinton好想并沒有打算把他的研究成果發(fā)表出去，因?yàn)樗X得現(xiàn)在的研究還沒有讓他滿意——那么，當(dāng)他對(duì)這項(xiàng)研究滿意的時(shí)候，會(huì)不會(huì)再次成為“the Father of ……” ？
雷鋒網(wǎng)注：資源鏈接——
2、Hinton未發(fā)表工作：Transforming Auto-encoders（PDF）
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
