雷鋒網(wǎng) AI 科技評論按：想必各位讀者對深度神經(jīng)網(wǎng)絡(luò)及深度學(xué)習(xí)都不會感到陌生，不論是在數(shù)據(jù)處理或是應(yīng)用層面，都取得了斐然的成績。但囿于結(jié)構(gòu)的復(fù)雜性及超參數(shù)的數(shù)量巨大，一方面帶來了訓(xùn)練時間過多的困擾，另一方面，為了追求精度，深度模型需要持續(xù)增加層數(shù)及參數(shù)，反過來又給深度學(xué)習(xí)帶來了進(jìn)一步的訓(xùn)練難度。如何在保證效果的前提下極大地縮短神經(jīng)網(wǎng)絡(luò)系統(tǒng)的訓(xùn)練時間？學(xué)者們也做出了不少探索和嘗試。

澳門大學(xué)講座教授陳俊龍教授在近年來致力于解決這一問題。結(jié)合他在早期所做的單隱層網(wǎng)絡(luò)的相關(guān)研究，陳俊龍教授提出了一個名為「寬度學(xué)習(xí)系統(tǒng)」（Broad Learning System，BLS）的網(wǎng)絡(luò)結(jié)構(gòu)，并從去年開始在多個場合提及這一概念。

今年年初，陳俊龍教授團(tuán)隊(duì)的相關(guān)論作「Broad Learning System: An E?ective and E?cient Incremental Learning System Without the Need for Deep Architecture」也將在 IEEE Transactions on Neural Networks and Learning Systems, pp. 10-24, Vol. 29, Issue 1, 2018 發(fā)表。

為此，雷鋒網(wǎng) AI 科技評論與陳俊龍教授進(jìn)行了一次交流，深度探討了他關(guān)于 BLS 的研究體會，借此得以從論文作者的角度一窺 BLS 的研究思路。

（陳俊龍教授簡介于文末。）

圖片由受訪者提供

寬度學(xué)習(xí)系統(tǒng)（BLS）是作為一種「深度學(xué)習(xí)網(wǎng)絡(luò)的替代方法」被提出的，它基于將映射特征作為 RVFLNN（隨機(jī)向量函數(shù)鏈接神經(jīng)網(wǎng)絡(luò)，random vector functional link neural network）輸入的思想而設(shè)計(jì)。

上世紀(jì) 80 年代，早期的神經(jīng)網(wǎng)絡(luò)工作主要集中于解決調(diào)參與層次結(jié)構(gòu)問題，特別是梯度下降參數(shù)的求解。當(dāng)時還在美國攻讀學(xué)位的陳俊龍就已經(jīng)涉足神經(jīng)網(wǎng)絡(luò)、模糊系統(tǒng)及遺傳算法的研究。在 90 年代末期，陳俊龍教授基于包約翰教授提出的 RVFLNN 進(jìn)行了單隱層神經(jīng)網(wǎng)絡(luò)的研究，在增量學(xué)習(xí)上做出了一些成熟探索。但限于當(dāng)時的時代條件，對大數(shù)據(jù)及訓(xùn)練時間的需求并不迫切，利用 Kernel 的概念及相關(guān)應(yīng)用也尚未流行起來，因此這一理念并沒有得以延續(xù)。

而在近年，陳俊龍教授與學(xué)生們也做了一些模糊神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)對等以及模糊波斯曼機(jī)的深度神經(jīng)網(wǎng)絡(luò)的相關(guān)研究。盡管系統(tǒng)在精度上得到了提升，但在訓(xùn)練時間耗時過多的特性依然不盡人意。陳俊龍教授聯(lián)想到自己往期所做的相關(guān)工作，開始規(guī)劃設(shè)計(jì)一個「又快又準(zhǔn)的算法和結(jié)構(gòu)」。

BLS 最重要的特點(diǎn)在于它的單隱層結(jié)構(gòu)，具有兩個重要的優(yōu)勢，一個是「橫向擴(kuò)展」，另一個則為「增量學(xué)習(xí)」。與深度神經(jīng)網(wǎng)絡(luò)不同之處在于，BLS 不采用深度的結(jié)構(gòu)，基于單隱層神經(jīng)網(wǎng)絡(luò)而構(gòu)建，可以用「易懂的數(shù)學(xué)推導(dǎo)來做增量學(xué)習(xí)」。

以往在精度不夠準(zhǔn)確時，深度神經(jīng)網(wǎng)絡(luò)會采用增加層數(shù)或調(diào)整參數(shù)個數(shù)的方式來達(dá)到這一目的，而 BLS 可以采用橫向擴(kuò)展的方式，利用輸入映射的特征作為網(wǎng)絡(luò)的「特征節(jié)點(diǎn)」，再增強(qiáng)為隨機(jī)生成權(quán)重的「增強(qiáng)節(jié)點(diǎn)」，并將映射特征與增強(qiáng)節(jié)點(diǎn)直接連接到輸出端，對應(yīng)的輸出系數(shù)可以通過快遞的 Pseudo 偽逆得出這樣一來，新加入的神經(jīng)節(jié)點(diǎn)，包括新加入的特征節(jié)點(diǎn)，BLS 并不需要從頭開始學(xué)習(xí)，只需要調(diào)節(jié)與新增節(jié)點(diǎn)有關(guān)的權(quán)重，也可以對新加入的輸入同時做增量學(xué)習(xí)。

這兩點(diǎn)可以讓系統(tǒng)「在很短的時間內(nèi)找到非常高效的結(jié)果」，論文中的「e?ective」 和「e?cient」由此而來。

陳俊龍教授告訴雷鋒網(wǎng) AI 科技評論，BLS 最重要的部分在于「從輸入值映射到特征值」，「這概念有點(diǎn)像 SVM 里頭的 Kernel 轉(zhuǎn)換。或者是 CNN 里頭的卷積運(yùn)算。經(jīng)過轉(zhuǎn)換的新數(shù)組，我們可以稱為『特征值』。這轉(zhuǎn)換可以隨機(jī)產(chǎn)生，也可以微調(diào)，并由最后一層的權(quán)重再做最優(yōu)值?！?/p>

而在 MNIST 與 NORB 數(shù)據(jù)庫上的表現(xiàn)可以看到，雖然 BLS 的測試準(zhǔn)確度并非是最高的，但相對而言，在服務(wù)器上的訓(xùn)練速度要明顯快于其它深度結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)系統(tǒng)。寬度學(xué)習(xí)算法能夠逐步更新建模系統(tǒng)，而不需要從頭開始重新訓(xùn)練?！笇τ诮Y(jié)構(gòu)改變或輸入變化是而不需要從頭開始訓(xùn)練學(xué)習(xí)。因?yàn)閷W(xué)習(xí)時間非?？?，也可以利用網(wǎng)格搜索很快速地找到一個優(yōu)化的 BLS 結(jié)構(gòu)。」陳俊龍教授告訴雷鋒網(wǎng) AI 科技評論。

作為一個「無需深度結(jié)構(gòu)的高效增量學(xué)習(xí)系統(tǒng)」，BLS 實(shí)際上也存在著難點(diǎn)與挑戰(zhàn)。在訓(xùn)練過程中，如果要經(jīng)由稀疏的映射而對增強(qiáng)節(jié)點(diǎn)做比較好的組合，從輸入的非線性的稀疏轉(zhuǎn)換是一個比較重要的關(guān)鍵點(diǎn)。

此外，陳俊龍教授向雷鋒網(wǎng) AI 科技評論表示，如果輸入過多時，（如 20 萬個輸入樣本，每個樣本至少有兩三千維度時，）偽逆的算法所用的內(nèi)存就對計(jì)算機(jī)提出了比較高的要求?！鸽m然可以通過做樣本輸入的增量學(xué)習(xí)來達(dá)成，但是在每一步的更新后，計(jì)算機(jī)總是會有微小的誤差。如果能夠把經(jīng)由輸入的增量學(xué)習(xí)找出來的最終權(quán)重，跟把所有輸入收集一起做 batch mode 的偽逆所得的權(quán)重是一樣的話，方能解決內(nèi)存的問題?！?/p>

還有一個難點(diǎn)在于新加入節(jié)點(diǎn)會帶來浪費(fèi)的可能性：基于新加入節(jié)點(diǎn)增量學(xué)習(xí)的前提，無從保證新節(jié)點(diǎn)與原有節(jié)點(diǎn)是否構(gòu)成線性獨(dú)立。而如果要做一些算法處理（如 orthogonal projection）來構(gòu)成線性獨(dú)立，則可能會額外增加訓(xùn)練時間，這又與寬度學(xué)習(xí)的初衷相悖。

雖然目前還存在一些優(yōu)化空間，但陳俊龍教授認(rèn)為，BLS 逼近性優(yōu)、算法快的特性能夠使其很快成為主流訓(xùn)練方法?！冈谥悄芸刂品矫妫愃?BLS 單隱層的神經(jīng)網(wǎng)絡(luò)已非常的流行?！惯@一點(diǎn)在大數(shù)據(jù)時代下顯得較為實(shí)用：當(dāng)系統(tǒng)收集到新輸入數(shù)據(jù)時，在短時間內(nèi)可以直接對節(jié)點(diǎn)進(jìn)行更新，保證了系統(tǒng)的完整性。

「如果在一個在應(yīng)用的場景里，在準(zhǔn)確度可以被接受的前提下，能用最短的時間來完成任務(wù)，這何嘗不是兩全其美的事情？」在智能控制方面，大部分的系統(tǒng)因?yàn)橛蟹答伒幕芈?，所以寬度學(xué)習(xí)網(wǎng)絡(luò)可以很快速地來做包括系統(tǒng)確定、微調(diào)、及輸入的更新在內(nèi)的工作。另一個重要的思路在于，寬度學(xué)習(xí)可以很容易地置于客戶端來執(zhí)行，而不需要依賴遠(yuǎn)程的云端計(jì)算，得以很快地做實(shí)時的更新，不用高大上的超算機(jī)。陳俊龍教授也表示，BLS 的主要應(yīng)用場景集中在智能控制的環(huán)境中進(jìn)行實(shí)時更新學(xué)習(xí)，譬如在智能家居的環(huán)境中更新語音識別、人物識別、物體識別的相關(guān)系統(tǒng)，那么 BLS 也能在其中發(fā)揮它的重要優(yōu)勢，甚至成為主流。

陳俊龍教授在未來會將工作重心放在 BLS 的算法優(yōu)化和穩(wěn)定上，除此之外，尋找應(yīng)用的行業(yè)與場景也成為了陳俊龍教授接下來一段時間的工作要點(diǎn)。在理論知識的基礎(chǔ)上不忘找尋應(yīng)用場景，是陳俊龍教授治學(xué)的基本理念。

回憶起在普度大學(xué)的博士就學(xué)經(jīng)歷，陳俊龍教授之所以會把這段經(jīng)歷評價為「整個事業(yè)生涯的一個重要里程碑」，正是在于普度大學(xué)非?？粗毓こ瘫澈蟮睦碚撝R，強(qiáng)調(diào)理論與實(shí)際應(yīng)用的結(jié)合。當(dāng)時陳俊龍教授所在的智能制造團(tuán)隊(duì)的 Intelligent manufacturing，下屬傅京孫教授在普度大學(xué)建立的「美國工程研究中心」的子團(tuán)隊(duì)，有著不少工程理論的訓(xùn)練。

陳俊龍教授也正是秉承博士導(dǎo)師贈予的箴言「always try your best」，一直潛心學(xué)問，筆耕不綴，共有 31 篇高被引論文（在 ISI 排名前 1%）。在問及如何做論文選題時，陳俊龍教授也不忘首先感謝論文工作的合作者們，隨后再開始談自己的觀點(diǎn)。他認(rèn)為，要做選題之前，要先對學(xué)科研究進(jìn)行細(xì)細(xì)分析，判斷是做增量式研究還是大的概念突破，其次，也要對學(xué)科研究進(jìn)行細(xì)讀分析。「其實(shí)老師們都有出科研文章的壓力。學(xué)生得畢業(yè)，有時候就不得不出增量式的改良文章（我有時也這樣），但是要時時的提醒自己在一段時間內(nèi)，還是要想想哪些文章是重要的，會有突破的?！?/p>

在采訪期間，陳俊龍教授向雷鋒網(wǎng) AI 科技評論提及了兩個促使他「跳出舒適感」的節(jié)點(diǎn)。一個是 2010 年，在美國長駐 28 年，擔(dān)任教職 23 年后，陳俊龍教授決定回國，擔(dān)任澳門大學(xué)的科技學(xué)院院長與講座教授，后續(xù)又擔(dān)任了自動化學(xué)會的副理事長。

「在美國的日子比較單純，經(jīng)過了奮斗期拿到了終身教授教職時，不論是在工作和生活上都很愜意，它的舒適感比較高，但是晉升到高層的機(jī)會相當(dāng)就比較少。還有最重要的一點(diǎn)，應(yīng)該是我個人的觀點(diǎn)，當(dāng)一件事情沒有挑戰(zhàn)感時，就可能是要跳出那舒適感的時候了。回國來澳門大學(xué)是我人生治學(xué)生涯中的一個重要分水嶺，它有挑戰(zhàn)感。」在任內(nèi)，陳俊龍教授推動澳門大學(xué)的工程學(xué)科及計(jì)算機(jī)學(xué)科獲得國際工程組織（華盛頓協(xié)議跟首爾協(xié)議）的認(rèn)證。同時也帶領(lǐng)澳門大學(xué)的工程學(xué)科及計(jì)算機(jī)學(xué)科躋身世界大學(xué)學(xué)科排名前 200 名。

作為留美多年的學(xué)者，陳俊龍教授在訪談中一方面肯定了美國在 AI 研究上的多層面深入，在基礎(chǔ)理論、技術(shù)層面及行業(yè)應(yīng)用的都有著深厚的積累；另一方面也肯定了國內(nèi)對科研的支持力度（包括澳門、內(nèi)地），「我國人工智能技術(shù)攻關(guān)和產(chǎn)業(yè)應(yīng)用雖然起步較晚，但在國家多項(xiàng)政策和科研基金的支持與鼓勵下，近年來發(fā)展勢頭迅猛。在算法上，我國也可以媲美。雖然中國在人工智能的論文數(shù)量方面超過美國，但中國學(xué)者的研究影響力目前尚不及美國或英國同行。這也是我們這一行應(yīng)該側(cè)重的。同時我認(rèn)為 AI 方面的科研應(yīng)該要有應(yīng)用市場及對一般民眾的有感（軍事的應(yīng)用另外談）。之前的中國科協(xié)的九大會議里的萬眾創(chuàng)新就是這種思維?！?/p>

而第二個節(jié)點(diǎn)則是最近，陳俊龍教授剛剛結(jié)束了他作為澳門大學(xué)科技學(xué)院院長的任期，也提及他正在思考與企業(yè)合作的切入點(diǎn)以及「跳出舒適感」，坦承「這是很不簡單的」。陳俊龍教授認(rèn)為，相對而言，在學(xué)術(shù)界的研究還是相對自由，可以「自己給自己出很困難的題目，然后想辦法去解決它」，這種成就感讓陳俊龍教授覺得欲罷不能。但企業(yè)的研究有時間的急迫性，也有市場、經(jīng)濟(jì)財(cái)務(wù)的壓力。因此陳俊龍教授認(rèn)為，要「跳」到企業(yè)界不僅有它的難度，也同樣有機(jī)緣巧合的因素。

附陳俊龍教授簡介：

陳俊龍，澳門大學(xué)講座教授及科技學(xué)院前院長，博士生導(dǎo)師，國家千人學(xué)者，自動化學(xué)會副理事長，IEEE Transactions on Systems, Man, and Cybernetics: Systems 期刊主編。1985 年獲美國密西根大學(xué)碩士學(xué)位，1988 年獲美國普度大學(xué)博士學(xué)位。曾在美國德州大學(xué)工學(xué)院任終身教授、工學(xué)院副院長及電機(jī)計(jì)算機(jī)系主任。曾任 IEEE Systems, Man, and Cybernetics Society (SMCS) 學(xué)會國際總主席（2012-2013），現(xiàn)任資深主席（2016-2017）。陳教授是 IEEE Fellow、AAAS Fellow、CAA Fellow、國際系統(tǒng)及控制論科學(xué)院院士（IASCYS）、香港工程師學(xué)會 Fellow，擔(dān)任多個 IEEE 期刊副主編?？蒲蟹较虬ǎ合到y(tǒng)及智能算法理論與工程，數(shù)據(jù)分析及挖掘，物理建模及智能控制。

陳教授近五年主持與參與的各類國家科技計(jì)劃包括：國家基金委、科技部 973 物聯(lián)網(wǎng)計(jì)劃子課題和澳門科學(xué)基金會。曾承接美國基金委，美國航天局，美國空軍科研實(shí)驗(yàn)室，海軍研究實(shí)驗(yàn)室科研計(jì)劃。兩次獲澳門自然科學(xué)獎，2016 年獲母校美國普度大學(xué)杰出電機(jī)與計(jì)算機(jī)工程獎。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。