雷鋒網(wǎng)AI研習(xí)社按：作為當(dāng)下最受歡迎的機器學(xué)習(xí)方法之一，深度神經(jīng)網(wǎng)絡(luò)在很多領(lǐng)域取得了非凡的成績。但是目前的深度神經(jīng)網(wǎng)絡(luò)模型依舊存在很多局限性，例如無法自動地設(shè)計網(wǎng)絡(luò)結(jié)構(gòu)、無法有效地降低網(wǎng)絡(luò)中的參數(shù)冗余度、很難處理嵌入在非歐幾里得空間的數(shù)據(jù)和無標(biāo)簽的數(shù)據(jù)等等。

 

分享嘉賓：常建龍，中科院自動化所在讀博士。在2015年獲得電子科技大學(xué)數(shù)學(xué)與應(yīng)用數(shù)學(xué)專業(yè)理學(xué)學(xué)位，之后師從潘春洪和向世明研究員，在中科院自動化所模式識別國家重點實驗室攻讀博士學(xué)位，主要研究方向為基于關(guān)系的深度學(xué)習(xí)，包括自動機器學(xué)習(xí)、網(wǎng)絡(luò)壓縮、深度圖網(wǎng)絡(luò)、深度無監(jiān)督學(xué)習(xí)等等。目前已在IEEE T-PAMI（2篇）, NeurIPS和ICCV (Oral) 等機器學(xué)習(xí)與計算機視覺頂級期刊和會議發(fā)表學(xué)術(shù)論文。

公開課鏈接：http://www.mooc.ai/open/course/671?=leifeng

分享主題：基于關(guān)系的深度學(xué)習(xí)（Relation-based Deep Learning）

 

分享提綱：

我們通過建模深度神經(jīng)網(wǎng)絡(luò)中變量之間的關(guān)系來解決以上問題并提升深度神經(jīng)網(wǎng)絡(luò)的性能。

• 通過考慮樣本于樣本之間的關(guān)系來聚類無標(biāo)簽數(shù)據(jù)

• 通過考慮特征與特征之間的關(guān)系來處理非歐式空間中的數(shù)據(jù)

• 通過考慮神經(jīng)網(wǎng)絡(luò)中層與層之間的關(guān)系來自動學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)

 

雷鋒網(wǎng)AI研習(xí)社將其分享內(nèi)容整理如下：

大家晚上好，首先來做一個自我介紹，我是中國科學(xué)院自動化所在讀博士生常建龍，很感謝雷鋒網(wǎng)提供的平臺，可以在這里跟大家交流我的研究和一些具體的成果。我們今天的主題是基于關(guān)系的深度學(xué)習(xí)，這個詞我們自己提出來的，還比較新。現(xiàn)在的深度學(xué)習(xí)，包括它能處理的一些問題，怎樣設(shè)計結(jié)構(gòu)等都有一定的局限性，對于這些局限性，我們希望通過建立深度網(wǎng)絡(luò)或者處理的每一個深度模型中，了解到兩兩變量之間的關(guān)系，從而讓深度網(wǎng)絡(luò)變得更優(yōu)秀一些。

 

首先來看看什么叫做關(guān)系。關(guān)系的范圍其實是非常廣的，人和人之間的某種關(guān)系，比如父子、母子、兄弟姐妹等等；數(shù)學(xué)中函數(shù)集合里的對應(yīng)關(guān)系、包含關(guān)系等等。

這些關(guān)系不僅生活中很常見，在機器學(xué)習(xí)中也很常見，比如要在Google里搜關(guān)鍵字，就會在關(guān)鍵字和網(wǎng)頁之間建立關(guān)系，使得搜索了關(guān)鍵字之后網(wǎng)頁可以反饋相應(yīng)的結(jié)果。比如遷移學(xué)習(xí)等等也是建立數(shù)據(jù)庫與數(shù)據(jù)庫之間的關(guān)系。

  

在機器學(xué)習(xí)深度網(wǎng)絡(luò)里面也有很多關(guān)系，可以說分為很多層面，一種是假如有一個小網(wǎng)絡(luò)，可以用一些比較常見的算法（Dropout：隨機屏蔽一些神經(jīng)元對性能有益，或者把有些邊砍掉能取得比較好的結(jié)果）。另外是某些層之間建立了關(guān)系之后，能使得訓(xùn)練學(xué)習(xí)的時候梯度可以更好，對學(xué)習(xí)也是有益的。另外一個比較火的算法是Batch normalization,它考慮的其實是樣本和樣本之間的關(guān)系。

  

我們看到這些關(guān)系的種類有很多，要怎么很好地在深度網(wǎng)絡(luò)里面利用這些關(guān)系，并使得深度網(wǎng)絡(luò)能處理更廣泛的問題、能有更好的性能等等，這類問題要怎么解決呢？接下來我給大家介紹三種，一種是通過考慮樣本和樣本之間的關(guān)系，使得深度網(wǎng)絡(luò)模型能很好地處理無標(biāo)簽的數(shù)據(jù)；另外一類就是暫時的CN或DN這種很難處理的數(shù)據(jù)，可以建立點跟點之間的關(guān)系，讓深度網(wǎng)絡(luò)能夠處理這種數(shù)據(jù)；最后一類就是當(dāng)下比較火的一個方向，深度網(wǎng)絡(luò)里面兩兩層之間到底是以什么樣的方式來相連，使它有個比較好的效果。

 

接下來從三個方面來介紹基于關(guān)系的深度學(xué)習(xí)。第一個就是假如有一堆沒標(biāo)簽的樣本，希望建立兩兩樣本之間的關(guān)系，然后進行聚類，使得神經(jīng)網(wǎng)絡(luò)能夠直接做無監(jiān)督學(xué)習(xí)。

  

可以先看一下什么叫聚類，它的定義是把一些相似的數(shù)據(jù)聚集到一起，不相似的不聚集到一起，也就是判斷是否屬于同一類。

  

從上面這些簡單的定義我們可以對聚類問題做數(shù)學(xué)上的表達，如下圖有g(shù)這樣一個函數(shù)：

  

但是這個表達有兩個問題，第一是通過兩兩樣本之間的關(guān)系，只能知道樣本是第一類還是第二類，沒有辦法知道這兩個樣本到底屬于哪一類，另一個問題是在做聚類的時候，不知道兩個樣本是不是屬于同一類。

 

接下來看一下怎么處理這兩個問題，我們引入了標(biāo)簽特征的概念，也就是把g函數(shù)分解成兩個f函數(shù)的特征，如圖所示：

  

前面只考慮兩兩樣本的相似性從而判斷樣本屬于哪一類，這里考慮的是怎樣得到是否屬于同一類的樣本。這種做法受啟發(fā)于課程學(xué)習(xí)方式，即先學(xué)習(xí)較簡單的樣本，再學(xué)習(xí)復(fù)雜樣本。對于網(wǎng)絡(luò)模型而言，怎樣叫簡單樣本呢？如計算出來是1，真實結(jié)果是0.9，即為簡單樣本。

  

將所謂的關(guān)系建模在深度網(wǎng)絡(luò)里面有什么優(yōu)勢呢？假如給一個約束條件，用傳統(tǒng)的機器學(xué)習(xí)算法去做會很難算，要對輸出做一個約束是很困難的事情，但是我們可以建一個比較簡單的層，第一個功能就是將所有的值變?yōu)檎?，第二就是二范?shù)唯一，k為向量，是人為定義的。

  

公式先放一邊，來看一下流程圖大家會更容易了解一點。有一堆沒標(biāo)簽的樣本，但是知道這些樣本總共屬于多少類，在無標(biāo)簽的數(shù)據(jù)庫中隨機選兩個樣本出來，有一個共享的網(wǎng)絡(luò)，共享的網(wǎng)絡(luò)之后有一個輸出，一方面計算他們的相似度，另一方面是利用他們的點乘。前面這些都是在學(xué)習(xí)，后面才開始訓(xùn)練，不必考慮關(guān)系，直接給樣本進行聚類，最后輸出的特征和有監(jiān)督學(xué)習(xí)是一樣的。

接下來看一下結(jié)果，MNIST最終的準(zhǔn)確率能達到98%，效果非常好，很難的樣本都能聚出來。

有人問到l的維度怎么確定，提前給定是一種方案，也可以學(xué)習(xí)一個l出來。那么怎么去學(xué)習(xí)呢？具體做法也就是對之前的一個擴展，以前的時候只考慮樣本和樣本之間的關(guān)系，但其實可以把樣本考慮得更全面一些，相當(dāng)于把所有樣本之間的關(guān)系都考慮起來。

  

在操作的時候，我們也設(shè)置了一些k值的參數(shù)，能試試選哪個值損失會最小，細(xì)節(jié)部分大家可以自己搜索一下。

  

剛才我們講的是深度無監(jiān)督學(xué)習(xí)，考慮樣本和樣本之間的關(guān)系，沒標(biāo)簽也可以用深度網(wǎng)絡(luò)做處理。下面是屬于圖網(wǎng)絡(luò)，以前的圖像主要處理的是很標(biāo)準(zhǔn)的結(jié)構(gòu)化數(shù)據(jù)，數(shù)據(jù)在很標(biāo)準(zhǔn)的格子空間里面，但是在一些其他場景，比如交通流量、分子、DNA或者三維數(shù)據(jù)之類的，這些數(shù)據(jù)嵌入在圖的結(jié)構(gòu)上面，每一個點有一個值，這類數(shù)據(jù)怎么處理呢？怎么把他們的關(guān)系建模在深度網(wǎng)絡(luò)里面？

  

可以看一下，現(xiàn)在所謂的深度學(xué)習(xí)主要受益于CN，特別是在圖像這些方面，一個很好的特點就是他考慮局部的關(guān)系，把局部數(shù)據(jù)處理好之后，參數(shù)可以在任何一個局部用，這對分類是很有效的。

  

很直觀的一個難點在于，確定好的局部數(shù)據(jù)是有數(shù)據(jù)關(guān)系的。

  

怎樣結(jié)局這個問題呢？其實是對傳統(tǒng)轉(zhuǎn)接做了一個泛化，如圖所示：

  

另外要把局部結(jié)構(gòu)的信息建模到轉(zhuǎn)接盒里面，如下圖：

  

下面來看一下比較簡單的轉(zhuǎn)接方式，有兩個通道的輸入和一個通道的輸出，需要兩個轉(zhuǎn)接盒，如下圖：

  

現(xiàn)在一個很重要的問題就是，怎樣去學(xué)習(xí)無窮個轉(zhuǎn)接盒？有人可能會猜到，用傅里葉變換，可以把一個序列函數(shù)用奇函數(shù)表達出來。我們還對轉(zhuǎn)接方式進行了泛化，寫成矩陣乘法的形式，更好地理解這種轉(zhuǎn)接到底是怎么做的，如下圖：

 

一個很直觀的實驗是在北京市的交通圖上做的，很好地預(yù)測北京市的交通流量，另外我們在傳統(tǒng)的圖像序列也做了實驗，如圖：

  

下面我們給出了集合函數(shù)的一般形式，所有的集合函數(shù)都能用這個式子來表達，如圖所示：

 

最后一個我們要考慮的是層和層之間的關(guān)系，那到底網(wǎng)絡(luò)連接怎么樣才最好呢？按照自動機器學(xué)習(xí)的意思就是說，可以使得網(wǎng)絡(luò)結(jié)構(gòu)跟著學(xué)習(xí)的過程慢慢改變，變得最優(yōu)，到最后能處理更好的問題。

 

現(xiàn)在普遍上都是在做這樣一件事情，學(xué)一個比較小的結(jié)構(gòu)，這個比較小的結(jié)構(gòu)在網(wǎng)絡(luò)中任何地方去用，乘多少遍，用小的結(jié)構(gòu)，搭成大的結(jié)構(gòu)出來?？梢钥吹骄W(wǎng)絡(luò)結(jié)構(gòu)其實是一個比較離散的東西，但是用強化學(xué)習(xí)去做過程很慢，需要花費很長的時間訓(xùn)練模型，那最好的辦法就是用BP算法。

 

還有就是從連續(xù)變到離散之后，怎么傳遞梯度呢？這是值得考慮的事情。

一方面希望空間大另一方面還希望傳遞梯度，怎么做呢？如圖：

  

另外我們還做了一些分割上面的實驗：

  

在自動機器學(xué)習(xí)這方面一個比較好的前景就是，怎樣去搜更復(fù)雜的任務(wù)直接做檢測分割等等，這是比較有趣的研究方向。

 

今天的交流就到這里，謝謝大家。

 

以上就是本期嘉賓的全部分享內(nèi)容。更多公開課視頻請到雷鋒網(wǎng)(公眾號：雷鋒網(wǎng)) AI 研習(xí)社社區(qū)（https://ai.yanxishe.com/?=leifeng）觀看。關(guān)注微信公眾號：AI 研習(xí)社（okweiwu），可獲取最新公開課直播時間預(yù)告。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。