澳門大學(xué)陳俊龍：無需深度結(jié)構(gòu)的高效增量學(xué)習(xí)系統(tǒng)

本文作者：奕欣

2018-01-04 17:25

導(dǎo)語：本文所提出的寬度學(xué)習(xí)算法，可以逐步更新建模系統(tǒng)，而無需從一開始重新訓(xùn)練整個系統(tǒng)。尤其當系統(tǒng)收集到新輸入數(shù)據(jù)時，現(xiàn)有網(wǎng)絡(luò)結(jié)構(gòu)迫切需要更新以反映系統(tǒng)的真實性和完整性

雷鋒網(wǎng) AI 科技評論按：本文作者陳俊龍、劉竹林等，本文首發(fā)于公眾號德先生，AI 科技評論授權(quán)轉(zhuǎn)載。

本文是對陳俊龍教授團隊「Broad Learning System: An E?ective and E?cient Incremental Learning System Without the Need for Deep Architecture」的中文綜述，原文將在 IEEE Transactions on Neural Networks and Learning Systems, Vol. 29, Issue 1, 2018 發(fā)表。

論文鏈接：http://ieeexplore.ieee.org/document/7987745

文章代碼下載地址：http://www.broadlearning.ai

正文

深層結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)和學(xué)習(xí)已經(jīng)在許多領(lǐng)域得到應(yīng)用，并在大規(guī)模數(shù)據(jù)處理上取得了突破性的成功。目前，最受歡迎的深度網(wǎng)絡(luò)是深度信任網(wǎng)絡(luò)（Deep Belief Networks，DBN），深度玻爾茲曼機器（Deep Boltzmann Machines，DBM）和卷積神經(jīng)網(wǎng)絡(luò)（Convolutional neural Networks，CNN）等。

雖然深度結(jié)構(gòu)網(wǎng)絡(luò)非常強大，但大多數(shù)網(wǎng)絡(luò)都被極度耗時的訓(xùn)練過程所困擾。其中最主要的原因是，上述深度網(wǎng)絡(luò)都結(jié)構(gòu)復(fù)雜并且涉及到大量的超參數(shù)。另外，這種復(fù)雜性使得在理論上分析深層結(jié)構(gòu)變得極其困難。另一方面，為了在應(yīng)用中獲得更高的精度，深度模型不得不持續(xù)地增加網(wǎng)絡(luò)層數(shù)或者調(diào)整參數(shù)個數(shù)。

因此近年來，一系列以提高訓(xùn)練速度為目的的深度網(wǎng)絡(luò)以及相應(yīng)的結(jié)合方法逐漸引起人們關(guān)注。其中，寬度學(xué)習(xí)系統(tǒng)提供了一種深度學(xué)習(xí)網(wǎng)絡(luò)的替代方法，同時，如果網(wǎng)絡(luò)需要擴展，模型可以通過增量學(xué)習(xí)高效重建。

單層前饋神經(jīng)網(wǎng)絡(luò)（Single layer feedforward neural networks，SLFN）已被廣泛應(yīng)用于分類和回歸等問題，因為它們可以全局地逼近給定的目標函數(shù)。一般來說，基于梯度下降的 SLFN 的泛化性能對某些參數(shù)設(shè)置，例如學(xué)習(xí)率，非常敏感。更重要的是，他們通常在訓(xùn)練時收斂到局部最小值。為此，由 Yoh-Han Pao 教授在 1990 年代提出的隨機向量函數(shù)鏈接神經(jīng)網(wǎng)絡(luò)（random vector functional link neural network，RVFLNN）提供了不同的學(xué)習(xí)方法。

RVFLNN 有效地消除了訓(xùn)練過程過長的缺點，同時也保證了函數(shù)逼近的泛化能力。因此，RVFLNN 已經(jīng)被用來解決不同領(lǐng)域的問題，包括函數(shù)建模和控制等。雖然 RVFLNN 顯著提高了感知器的性能，但是在處理以大容量和時間多變性為本質(zhì)特性的大數(shù)據(jù)時，這種網(wǎng)絡(luò)并不能勝任。為了對中等大小數(shù)據(jù)進行建模，C. L. Philip Chen (陳俊龍) 在 1990 年代末也提出了一種動態(tài)逐步更新算法（增量學(xué)習(xí)），用于更新 RVFLNN 中新增加輸入數(shù)據(jù)和新添加的增強節(jié)點的輸出權(quán)重。這項工作為調(diào)整遇到新的輸入數(shù)據(jù)的系統(tǒng)鋪平了道路。

另一方面，近年來除了數(shù)據(jù)量的增長之外，數(shù)據(jù)的維度也大大增加。假如將原始的「大」數(shù)據(jù)直接輸入神經(jīng)網(wǎng)絡(luò)，系統(tǒng)往往無法再保持其有效性。如何處理高維數(shù)據(jù)最近成為迫在眉睫的問題?？朔@個難題的兩個常見做法是降維和特征提取。其中，特征提取目的是尋求從輸入數(shù)據(jù)到特征向量的最佳函數(shù)變換。易于實現(xiàn)和效率突出的特征提取常用方法包括，變量排序（variable ranking），特征子集選擇（feature subset selection），懲罰最小二乘法（penalized least squares），隨機特征提取方法，包括非自適應(yīng)隨機投影（non-adaptive random projections）和隨機森林（random forest）以及基于卷積的輸入映射等等。

因此，對于特征提取，可以采用「映射特征」作為 RVFLNN 的輸入。本發(fā)明中提出的寬度學(xué)習(xí)系統(tǒng)（Broad Learning System，BLS）是基于將映射特征作為 RVFLNN 輸入的思想設(shè)計的。此外，BLS 可以在新加入的數(shù)據(jù)以有效和高效的方式更新系統(tǒng)（輸入的增量學(xué)習(xí)）。BLS 的設(shè)計思路為：首先，利用輸入數(shù)據(jù)映射的特征作為網(wǎng)絡(luò)的「特征節(jié)點」。其次，映射的特征被增強為隨機生成權(quán)重的「增強節(jié)點」。最后，所有映射的特征和增強節(jié)點直接連接到輸出端，對應(yīng)的輸出系數(shù)可以通過快遞的 Pseudo 偽逆得出。為了在寬度上擴展特征節(jié)點和增強節(jié)點，論文中額外設(shè)計了對應(yīng)的寬度學(xué)習(xí)算法。同時，如果網(wǎng)絡(luò)結(jié)構(gòu)需要擴展，論文同時提出了無需完整網(wǎng)絡(luò)再訓(xùn)練的快速增量學(xué)習(xí)算法。

論文的其余結(jié)構(gòu)如下。首先介紹 RVFLNN，如圖 1-3 所示。其次，給出了所提出的寬度學(xué)習(xí)算法的細節(jié)。第三，在 MNIST 分類和 NORB 分類中實驗寬度學(xué)習(xí)系統(tǒng)，同時與其他各種深度神經(jīng)網(wǎng)絡(luò)進行比較。最后，給出關(guān)于寬度學(xué)習(xí)系統(tǒng)的結(jié)論和討論。