澳門大學(xué)陳俊龍：無(wú)需深度結(jié)構(gòu)的高效增量學(xué)習(xí)系統(tǒng)

本文作者：奕欣

2018-01-04 17:25

導(dǎo)語(yǔ)：本文所提出的寬度學(xué)習(xí)算法，可以逐步更新建模系統(tǒng)，而無(wú)需從一開(kāi)始重新訓(xùn)練整個(gè)系統(tǒng)。尤其當(dāng)系統(tǒng)收集到新輸入數(shù)據(jù)時(shí)，現(xiàn)有網(wǎng)絡(luò)結(jié)構(gòu)迫切需要更新以反映系統(tǒng)的真實(shí)性和完整性

雷鋒網(wǎng) AI 科技評(píng)論按：本文作者陳俊龍、劉竹林等，本文首發(fā)于公眾號(hào)德先生，AI 科技評(píng)論授權(quán)轉(zhuǎn)載。

本文是對(duì)陳俊龍教授團(tuán)隊(duì)「Broad Learning System: An E?ective and E?cient Incremental Learning System Without the Need for Deep Architecture」的中文綜述，原文將在 IEEE Transactions on Neural Networks and Learning Systems, Vol. 29, Issue 1, 2018 發(fā)表。

論文鏈接：http://ieeexplore.ieee.org/document/7987745

文章代碼下載地址：http://www.broadlearning.ai

正文

深層結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)和學(xué)習(xí)已經(jīng)在許多領(lǐng)域得到應(yīng)用，并在大規(guī)模數(shù)據(jù)處理上取得了突破性的成功。目前，最受歡迎的深度網(wǎng)絡(luò)是深度信任網(wǎng)絡(luò)（Deep Belief Networks，DBN），深度玻爾茲曼機(jī)器（Deep Boltzmann Machines，DBM）和卷積神經(jīng)網(wǎng)絡(luò)（Convolutional neural Networks，CNN）等。

雖然深度結(jié)構(gòu)網(wǎng)絡(luò)非常強(qiáng)大，但大多數(shù)網(wǎng)絡(luò)都被極度耗時(shí)的訓(xùn)練過(guò)程所困擾。其中最主要的原因是，上述深度網(wǎng)絡(luò)都結(jié)構(gòu)復(fù)雜并且涉及到大量的超參數(shù)。另外，這種復(fù)雜性使得在理論上分析深層結(jié)構(gòu)變得極其困難。另一方面，為了在應(yīng)用中獲得更高的精度，深度模型不得不持續(xù)地增加網(wǎng)絡(luò)層數(shù)或者調(diào)整參數(shù)個(gè)數(shù)。

因此近年來(lái)，一系列以提高訓(xùn)練速度為目的的深度網(wǎng)絡(luò)以及相應(yīng)的結(jié)合方法逐漸引起人們關(guān)注。其中，寬度學(xué)習(xí)系統(tǒng)提供了一種深度學(xué)習(xí)網(wǎng)絡(luò)的替代方法，同時(shí)，如果網(wǎng)絡(luò)需要擴(kuò)展，模型可以通過(guò)增量學(xué)習(xí)高效重建。

單層前饋神經(jīng)網(wǎng)絡(luò)（Single layer feedforward neural networks，SLFN）已被廣泛應(yīng)用于分類和回歸等問(wèn)題，因?yàn)樗鼈兛梢匀值乇平o定的目標(biāo)函數(shù)。一般來(lái)說(shuō)，基于梯度下降的 SLFN 的泛化性能對(duì)某些參數(shù)設(shè)置，例如學(xué)習(xí)率，非常敏感。更重要的是，他們通常在訓(xùn)練時(shí)收斂到局部最小值。為此，由 Yoh-Han Pao 教授在 1990 年代提出的隨機(jī)向量函數(shù)鏈接神經(jīng)網(wǎng)絡(luò)（random vector functional link neural network，RVFLNN）提供了不同的學(xué)習(xí)方法。

RVFLNN 有效地消除了訓(xùn)練過(guò)程過(guò)長(zhǎng)的缺點(diǎn)，同時(shí)也保證了函數(shù)逼近的泛化能力。因此，RVFLNN 已經(jīng)被用來(lái)解決不同領(lǐng)域的問(wèn)題，包括函數(shù)建模和控制等。雖然 RVFLNN 顯著提高了感知器的性能，但是在處理以大容量和時(shí)間多變性為本質(zhì)特性的大數(shù)據(jù)時(shí)，這種網(wǎng)絡(luò)并不能勝任。為了對(duì)中等大小數(shù)據(jù)進(jìn)行建模，C. L. Philip Chen (陳俊龍) 在 1990 年代末也提出了一種動(dòng)態(tài)逐步更新算法（增量學(xué)習(xí)），用于更新 RVFLNN 中新增加輸入數(shù)據(jù)和新添加的增強(qiáng)節(jié)點(diǎn)的輸出權(quán)重。這項(xiàng)工作為調(diào)整遇到新的輸入數(shù)據(jù)的系統(tǒng)鋪平了道路。

另一方面，近年來(lái)除了數(shù)據(jù)量的增長(zhǎng)之外，數(shù)據(jù)的維度也大大增加。假如將原始的「大」數(shù)據(jù)直接輸入神經(jīng)網(wǎng)絡(luò)，系統(tǒng)往往無(wú)法再保持其有效性。如何處理高維數(shù)據(jù)最近成為迫在眉睫的問(wèn)題?？朔@個(gè)難題的兩個(gè)常見(jiàn)做法是降維和特征提取。其中，特征提取目的是尋求從輸入數(shù)據(jù)到特征向量的最佳函數(shù)變換。易于實(shí)現(xiàn)和效率突出的特征提取常用方法包括，變量排序（variable ranking），特征子集選擇（feature subset selection），懲罰最小二乘法（penalized least squares），隨機(jī)特征提取方法，包括非自適應(yīng)隨機(jī)投影（non-adaptive random projections）和隨機(jī)森林（random forest）以及基于卷積的輸入映射等等。

因此，對(duì)于特征提取，可以采用「映射特征」作為 RVFLNN 的輸入。本發(fā)明中提出的寬度學(xué)習(xí)系統(tǒng)（Broad Learning System，BLS）是基于將映射特征作為 RVFLNN 輸入的思想設(shè)計(jì)的。此外，BLS 可以在新加入的數(shù)據(jù)以有效和高效的方式更新系統(tǒng)（輸入的增量學(xué)習(xí)）。BLS 的設(shè)計(jì)思路為：首先，利用輸入數(shù)據(jù)映射的特征作為網(wǎng)絡(luò)的「特征節(jié)點(diǎn)」。其次，映射的特征被增強(qiáng)為隨機(jī)生成權(quán)重的「增強(qiáng)節(jié)點(diǎn)」。最后，所有映射的特征和增強(qiáng)節(jié)點(diǎn)直接連接到輸出端，對(duì)應(yīng)的輸出系數(shù)可以通過(guò)快遞的 Pseudo 偽逆得出。為了在寬度上擴(kuò)展特征節(jié)點(diǎn)和增強(qiáng)節(jié)點(diǎn)，論文中額外設(shè)計(jì)了對(duì)應(yīng)的寬度學(xué)習(xí)算法。同時(shí)，如果網(wǎng)絡(luò)結(jié)構(gòu)需要擴(kuò)展，論文同時(shí)提出了無(wú)需完整網(wǎng)絡(luò)再訓(xùn)練的快速增量學(xué)習(xí)算法。

論文的其余結(jié)構(gòu)如下。首先介紹 RVFLNN，如圖 1-3 所示。其次，給出了所提出的寬度學(xué)習(xí)算法的細(xì)節(jié)。第三，在 MNIST 分類和 NORB 分類中實(shí)驗(yàn)寬度學(xué)習(xí)系統(tǒng)，同時(shí)與其他各種深度神經(jīng)網(wǎng)絡(luò)進(jìn)行比較。最后，給出關(guān)于寬度學(xué)習(xí)系統(tǒng)的結(jié)論和討論。