雷鋒網(wǎng)AI研習(xí)社按：作為當(dāng)下最受歡迎的機(jī)器學(xué)習(xí)方法之一，深度神經(jīng)網(wǎng)絡(luò)在很多領(lǐng)域取得了非凡的成績(jī)。但是目前的深度神經(jīng)網(wǎng)絡(luò)模型依舊存在很多局限性，例如無(wú)法自動(dòng)地設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)、無(wú)法有效地降低網(wǎng)絡(luò)中的參數(shù)冗余度、很難處理嵌入在非歐幾里得空間的數(shù)據(jù)和無(wú)標(biāo)簽的數(shù)據(jù)等等。

 

分享嘉賓：常建龍，中科院自動(dòng)化所在讀博士。在2015年獲得電子科技大學(xué)數(shù)學(xué)與應(yīng)用數(shù)學(xué)專業(yè)理學(xué)學(xué)位，之后師從潘春洪和向世明研究員，在中科院自動(dòng)化所模式識(shí)別國(guó)家重點(diǎn)實(shí)驗(yàn)室攻讀博士學(xué)位，主要研究方向?yàn)榛陉P(guān)系的深度學(xué)習(xí)，包括自動(dòng)機(jī)器學(xué)習(xí)、網(wǎng)絡(luò)壓縮、深度圖網(wǎng)絡(luò)、深度無(wú)監(jiān)督學(xué)習(xí)等等。目前已在IEEE T-PAMI（2篇）, NeurIPS和ICCV (Oral) 等機(jī)器學(xué)習(xí)與計(jì)算機(jī)視覺(jué)頂級(jí)期刊和會(huì)議發(fā)表學(xué)術(shù)論文。

公開(kāi)課鏈接：http://www.mooc.ai/open/course/671?=leifeng

分享主題：基于關(guān)系的深度學(xué)習(xí)（Relation-based Deep Learning）

 

分享提綱：

我們通過(guò)建模深度神經(jīng)網(wǎng)絡(luò)中變量之間的關(guān)系來(lái)解決以上問(wèn)題并提升深度神經(jīng)網(wǎng)絡(luò)的性能。

• 通過(guò)考慮樣本于樣本之間的關(guān)系來(lái)聚類無(wú)標(biāo)簽數(shù)據(jù)

• 通過(guò)考慮特征與特征之間的關(guān)系來(lái)處理非歐式空間中的數(shù)據(jù)

• 通過(guò)考慮神經(jīng)網(wǎng)絡(luò)中層與層之間的關(guān)系來(lái)自動(dòng)學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)

 

雷鋒網(wǎng)AI研習(xí)社將其分享內(nèi)容整理如下：

大家晚上好，首先來(lái)做一個(gè)自我介紹，我是中國(guó)科學(xué)院自動(dòng)化所在讀博士生常建龍，很感謝雷鋒網(wǎng)提供的平臺(tái)，可以在這里跟大家交流我的研究和一些具體的成果。我們今天的主題是基于關(guān)系的深度學(xué)習(xí)，這個(gè)詞我們自己提出來(lái)的，還比較新?，F(xiàn)在的深度學(xué)習(xí)，包括它能處理的一些問(wèn)題，怎樣設(shè)計(jì)結(jié)構(gòu)等都有一定的局限性，對(duì)于這些局限性，我們希望通過(guò)建立深度網(wǎng)絡(luò)或者處理的每一個(gè)深度模型中，了解到兩兩變量之間的關(guān)系，從而讓深度網(wǎng)絡(luò)變得更優(yōu)秀一些。

 

首先來(lái)看看什么叫做關(guān)系。關(guān)系的范圍其實(shí)是非常廣的，人和人之間的某種關(guān)系，比如父子、母子、兄弟姐妹等等；數(shù)學(xué)中函數(shù)集合里的對(duì)應(yīng)關(guān)系、包含關(guān)系等等。

這些關(guān)系不僅生活中很常見(jiàn)，在機(jī)器學(xué)習(xí)中也很常見(jiàn)，比如要在Google里搜關(guān)鍵字，就會(huì)在關(guān)鍵字和網(wǎng)頁(yè)之間建立關(guān)系，使得搜索了關(guān)鍵字之后網(wǎng)頁(yè)可以反饋相應(yīng)的結(jié)果。比如遷移學(xué)習(xí)等等也是建立數(shù)據(jù)庫(kù)與數(shù)據(jù)庫(kù)之間的關(guān)系。

  

在機(jī)器學(xué)習(xí)深度網(wǎng)絡(luò)里面也有很多關(guān)系，可以說(shuō)分為很多層面，一種是假如有一個(gè)小網(wǎng)絡(luò)，可以用一些比較常見(jiàn)的算法（Dropout：隨機(jī)屏蔽一些神經(jīng)元對(duì)性能有益，或者把有些邊砍掉能取得比較好的結(jié)果）。另外是某些層之間建立了關(guān)系之后，能使得訓(xùn)練學(xué)習(xí)的時(shí)候梯度可以更好，對(duì)學(xué)習(xí)也是有益的。另外一個(gè)比較火的算法是Batch normalization,它考慮的其實(shí)是樣本和樣本之間的關(guān)系。

  

我們看到這些關(guān)系的種類有很多，要怎么很好地在深度網(wǎng)絡(luò)里面利用這些關(guān)系，并使得深度網(wǎng)絡(luò)能處理更廣泛的問(wèn)題、能有更好的性能等等，這類問(wèn)題要怎么解決呢？接下來(lái)我給大家介紹三種，一種是通過(guò)考慮樣本和樣本之間的關(guān)系，使得深度網(wǎng)絡(luò)模型能很好地處理無(wú)標(biāo)簽的數(shù)據(jù)；另外一類就是暫時(shí)的CN或DN這種很難處理的數(shù)據(jù)，可以建立點(diǎn)跟點(diǎn)之間的關(guān)系，讓深度網(wǎng)絡(luò)能夠處理這種數(shù)據(jù)；最后一類就是當(dāng)下比較火的一個(gè)方向，深度網(wǎng)絡(luò)里面兩兩層之間到底是以什么樣的方式來(lái)相連，使它有個(gè)比較好的效果。

 

接下來(lái)從三個(gè)方面來(lái)介紹基于關(guān)系的深度學(xué)習(xí)。第一個(gè)就是假如有一堆沒(méi)標(biāo)簽的樣本，希望建立兩兩樣本之間的關(guān)系，然后進(jìn)行聚類，使得神經(jīng)網(wǎng)絡(luò)能夠直接做無(wú)監(jiān)督學(xué)習(xí)。

  

可以先看一下什么叫聚類，它的定義是把一些相似的數(shù)據(jù)聚集到一起，不相似的不聚集到一起，也就是判斷是否屬于同一類。

  

從上面這些簡(jiǎn)單的定義我們可以對(duì)聚類問(wèn)題做數(shù)學(xué)上的表達(dá)，如下圖有g(shù)這樣一個(gè)函數(shù)：

  

但是這個(gè)表達(dá)有兩個(gè)問(wèn)題，第一是通過(guò)兩兩樣本之間的關(guān)系，只能知道樣本是第一類還是第二類，沒(méi)有辦法知道這兩個(gè)樣本到底屬于哪一類，另一個(gè)問(wèn)題是在做聚類的時(shí)候，不知道兩個(gè)樣本是不是屬于同一類。

 

接下來(lái)看一下怎么處理這兩個(gè)問(wèn)題，我們引入了標(biāo)簽特征的概念，也就是把g函數(shù)分解成兩個(gè)f函數(shù)的特征，如圖所示：

  

前面只考慮兩兩樣本的相似性從而判斷樣本屬于哪一類，這里考慮的是怎樣得到是否屬于同一類的樣本。這種做法受啟發(fā)于課程學(xué)習(xí)方式，即先學(xué)習(xí)較簡(jiǎn)單的樣本，再學(xué)習(xí)復(fù)雜樣本。對(duì)于網(wǎng)絡(luò)模型而言，怎樣叫簡(jiǎn)單樣本呢？如計(jì)算出來(lái)是1，真實(shí)結(jié)果是0.9，即為簡(jiǎn)單樣本。

  

將所謂的關(guān)系建模在深度網(wǎng)絡(luò)里面有什么優(yōu)勢(shì)呢？假如給一個(gè)約束條件，用傳統(tǒng)的機(jī)器學(xué)習(xí)算法去做會(huì)很難算，要對(duì)輸出做一個(gè)約束是很困難的事情，但是我們可以建一個(gè)比較簡(jiǎn)單的層，第一個(gè)功能就是將所有的值變?yōu)檎?，第二就是二范?shù)唯一，k為向量，是人為定義的。

  

公式先放一邊，來(lái)看一下流程圖大家會(huì)更容易了解一點(diǎn)。有一堆沒(méi)標(biāo)簽的樣本，但是知道這些樣本總共屬于多少類，在無(wú)標(biāo)簽的數(shù)據(jù)庫(kù)中隨機(jī)選兩個(gè)樣本出來(lái)，有一個(gè)共享的網(wǎng)絡(luò)，共享的網(wǎng)絡(luò)之后有一個(gè)輸出，一方面計(jì)算他們的相似度，另一方面是利用他們的點(diǎn)乘。前面這些都是在學(xué)習(xí)，后面才開(kāi)始訓(xùn)練，不必考慮關(guān)系，直接給樣本進(jìn)行聚類，最后輸出的特征和有監(jiān)督學(xué)習(xí)是一樣的。

接下來(lái)看一下結(jié)果，MNIST最終的準(zhǔn)確率能達(dá)到98%，效果非常好，很難的樣本都能聚出來(lái)。

有人問(wèn)到l的維度怎么確定，提前給定是一種方案，也可以學(xué)習(xí)一個(gè)l出來(lái)。那么怎么去學(xué)習(xí)呢？具體做法也就是對(duì)之前的一個(gè)擴(kuò)展，以前的時(shí)候只考慮樣本和樣本之間的關(guān)系，但其實(shí)可以把樣本考慮得更全面一些，相當(dāng)于把所有樣本之間的關(guān)系都考慮起來(lái)。

  

在操作的時(shí)候，我們也設(shè)置了一些k值的參數(shù)，能試試選哪個(gè)值損失會(huì)最小，細(xì)節(jié)部分大家可以自己搜索一下。

  

剛才我們講的是深度無(wú)監(jiān)督學(xué)習(xí)，考慮樣本和樣本之間的關(guān)系，沒(méi)標(biāo)簽也可以用深度網(wǎng)絡(luò)做處理。下面是屬于圖網(wǎng)絡(luò)，以前的圖像主要處理的是很標(biāo)準(zhǔn)的結(jié)構(gòu)化數(shù)據(jù)，數(shù)據(jù)在很標(biāo)準(zhǔn)的格子空間里面，但是在一些其他場(chǎng)景，比如交通流量、分子、DNA或者三維數(shù)據(jù)之類的，這些數(shù)據(jù)嵌入在圖的結(jié)構(gòu)上面，每一個(gè)點(diǎn)有一個(gè)值，這類數(shù)據(jù)怎么處理呢？怎么把他們的關(guān)系建模在深度網(wǎng)絡(luò)里面？

  

可以看一下，現(xiàn)在所謂的深度學(xué)習(xí)主要受益于CN，特別是在圖像這些方面，一個(gè)很好的特點(diǎn)就是他考慮局部的關(guān)系，把局部數(shù)據(jù)處理好之后，參數(shù)可以在任何一個(gè)局部用，這對(duì)分類是很有效的。

  

很直觀的一個(gè)難點(diǎn)在于，確定好的局部數(shù)據(jù)是有數(shù)據(jù)關(guān)系的。

  

怎樣結(jié)局這個(gè)問(wèn)題呢？其實(shí)是對(duì)傳統(tǒng)轉(zhuǎn)接做了一個(gè)泛化，如圖所示：

  

另外要把局部結(jié)構(gòu)的信息建模到轉(zhuǎn)接盒里面，如下圖：

  

下面來(lái)看一下比較簡(jiǎn)單的轉(zhuǎn)接方式，有兩個(gè)通道的輸入和一個(gè)通道的輸出，需要兩個(gè)轉(zhuǎn)接盒，如下圖：

  

現(xiàn)在一個(gè)很重要的問(wèn)題就是，怎樣去學(xué)習(xí)無(wú)窮個(gè)轉(zhuǎn)接盒？有人可能會(huì)猜到，用傅里葉變換，可以把一個(gè)序列函數(shù)用奇函數(shù)表達(dá)出來(lái)。我們還對(duì)轉(zhuǎn)接方式進(jìn)行了泛化，寫成矩陣乘法的形式，更好地理解這種轉(zhuǎn)接到底是怎么做的，如下圖：

 

一個(gè)很直觀的實(shí)驗(yàn)是在北京市的交通圖上做的，很好地預(yù)測(cè)北京市的交通流量，另外我們?cè)趥鹘y(tǒng)的圖像序列也做了實(shí)驗(yàn)，如圖：

  

下面我們給出了集合函數(shù)的一般形式，所有的集合函數(shù)都能用這個(gè)式子來(lái)表達(dá)，如圖所示：

 

最后一個(gè)我們要考慮的是層和層之間的關(guān)系，那到底網(wǎng)絡(luò)連接怎么樣才最好呢？按照自動(dòng)機(jī)器學(xué)習(xí)的意思就是說(shuō)，可以使得網(wǎng)絡(luò)結(jié)構(gòu)跟著學(xué)習(xí)的過(guò)程慢慢改變，變得最優(yōu)，到最后能處理更好的問(wèn)題。

 

現(xiàn)在普遍上都是在做這樣一件事情，學(xué)一個(gè)比較小的結(jié)構(gòu)，這個(gè)比較小的結(jié)構(gòu)在網(wǎng)絡(luò)中任何地方去用，乘多少遍，用小的結(jié)構(gòu)，搭成大的結(jié)構(gòu)出來(lái)?？梢钥吹骄W(wǎng)絡(luò)結(jié)構(gòu)其實(shí)是一個(gè)比較離散的東西，但是用強(qiáng)化學(xué)習(xí)去做過(guò)程很慢，需要花費(fèi)很長(zhǎng)的時(shí)間訓(xùn)練模型，那最好的辦法就是用BP算法。

 

還有就是從連續(xù)變到離散之后，怎么傳遞梯度呢？這是值得考慮的事情。

一方面希望空間大另一方面還希望傳遞梯度，怎么做呢？如圖：

  

另外我們還做了一些分割上面的實(shí)驗(yàn)：

  

在自動(dòng)機(jī)器學(xué)習(xí)這方面一個(gè)比較好的前景就是，怎樣去搜更復(fù)雜的任務(wù)直接做檢測(cè)分割等等，這是比較有趣的研究方向。

 

今天的交流就到這里，謝謝大家。

 

以上就是本期嘉賓的全部分享內(nèi)容。更多公開(kāi)課視頻請(qǐng)到雷鋒網(wǎng)(公眾號(hào)：雷鋒網(wǎng)) AI 研習(xí)社社區(qū)（https://ai.yanxishe.com/?=leifeng）觀看。關(guān)注微信公眾號(hào)：AI 研習(xí)社（okweiwu），可獲取最新公開(kāi)課直播時(shí)間預(yù)告。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。