雷鋒網(wǎng) AI 科技評論按：機器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)的出現(xiàn)給人工智能領(lǐng)域所帶來的極具革命性的影響，如今整個人工智能研究界都有目共睹。作為人工智能神經(jīng)網(wǎng)絡(luò)方向的學(xué)術(shù)界資深科學(xué)家，貢三元教授深諳當(dāng)前深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)所存在的問題，對此，他提出了 NN 3.0 的概念，創(chuàng)造性地采用深入學(xué)習(xí)（Internal Learning）的方法來訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型，不僅能夠?qū)崿F(xiàn)內(nèi)部神經(jīng)元可學(xué)習(xí)性，還兼具內(nèi)部神經(jīng)元可解釋性。對于這一成果，貢三元教授也在 4 月 9 日的第二屆全球人工智能應(yīng)用創(chuàng)新峰會上進(jìn)行了分享。

會后，雷鋒網(wǎng) AI 科技評論也借此機會與貢三元教授進(jìn)行了一次交流，圍繞他的研究經(jīng)歷、成果以及治學(xué)理念進(jìn)行了深入探討。

 

貢三元教授，1977 年獲得斯坦福大學(xué)電子工程博士學(xué)位；1974 年加入美國安達(dá)爾公司任職工程師；1977 年至 1987 年，在美國南加州大學(xué)電子工程系統(tǒng)專業(yè)任職教授；1987 年至今，任職普林斯頓大學(xué)電子工程專業(yè)教授。同時，他還是斯坦福大學(xué)、代爾夫特大學(xué)、早稻田大學(xué)訪問教授，中國科技大學(xué)榮譽教授以及香港理工大學(xué)榮譽講座教授。此外，他還是美國 IEEE 終身院士、 Journal of VLSI Signal Processing Systems 主編等等。

貢三元教授的研究領(lǐng)域包括，機器學(xué)習(xí)、系統(tǒng)建模與識別、人工神經(jīng)網(wǎng)絡(luò)、無線傳輸、傳感器陣列處理、多媒體信號處理、生物信息數(shù)據(jù)挖掘與識別，曾發(fā)表 400 余篇（部）論文及專著，包括：《大規(guī)模集成電路和現(xiàn)代信號處理》（英文版及俄文版）、《大規(guī)模集成電路處理器》（英文版、俄文版及中文版）、《數(shù)字神經(jīng)網(wǎng)絡(luò)》（英文版）、《主成分神經(jīng)網(wǎng)絡(luò)》（英文版）、《生物信息認(rèn)證：一種現(xiàn)代方法》（英文版）等。鑒于其學(xué)術(shù)貢獻(xiàn)，他曾獲得的重要獎項包括：IEEE Signal Processing Society 技術(shù)進(jìn)步獎、最佳論文獎、杰出講座學(xué)者，IEEE Third 千禧年勛章等。

轉(zhuǎn)入神經(jīng)網(wǎng)絡(luò)和機器學(xué)習(xí)，始于興趣而終于使命

博士畢業(yè)于斯坦福大學(xué)電子工程專業(yè)的貢三元教授一開始的研究方向主要是計算機體系結(jié)構(gòu)、模式識別和多媒體信號處理等，直到 1980 年才轉(zhuǎn)入神經(jīng)網(wǎng)絡(luò)領(lǐng)域。當(dāng)時，神經(jīng)網(wǎng)絡(luò)技術(shù)取得了一定進(jìn)展，也為該領(lǐng)域的研究者帶來了充足的科研經(jīng)費，在這樣的大背景下，貢三元教授開啟了他在神經(jīng)網(wǎng)絡(luò)領(lǐng)域的研究并取得了豐碩成果，不僅先后出版了 4 本相關(guān)學(xué)術(shù)專著，還提出一系列創(chuàng)新性和前瞻性的理論。

之后，貢三元教授更是對機器學(xué)習(xí)領(lǐng)域產(chǎn)生了濃厚的興趣，而這份興趣，則是源自于他對整個機器學(xué)習(xí)發(fā)展歷程的思考。他提到，機器學(xué)習(xí)分為監(jiān)督學(xué)習(xí) (supervised learning) 和無監(jiān)督學(xué)習(xí) (unsupervised learning），現(xiàn)在大家所講的 NN1.0 及 NN2.0 都屬于監(jiān)督學(xué)習(xí)。同時機器學(xué)習(xí)系統(tǒng)包括兩個子系統(tǒng)——特征工程 (feature engineering) 和標(biāo)簽工程 （label engineering），而 NN1.0、NN2.0 兩個階段對這兩個子系統(tǒng)的訓(xùn)練方法是非常不同的：

• 在 NN1.0 的時代，機器學(xué)習(xí)只顧得上后半段標(biāo)簽工程，而前半段的特征工程得依賴于領(lǐng)域?qū)＜覍⑻卣髡页鰜?。這樣的話，靠機器學(xué)習(xí)實際完成的部分其實是比較少的。

• 而在 NN2.0 時代，機器學(xué)習(xí)的特征工程部分也由神經(jīng)網(wǎng)絡(luò)來完成，其使用的學(xué)習(xí)方法就是今年的圖靈獎獲得者提出的反向傳播算法（BackPropagation， BP），也就是說整個機器學(xué)習(xí)過程都由同一個 BP 算法來完成。

貢三元教授以一個 Lenet-5 深度學(xué)習(xí)模型為例，來具體闡述二者在訓(xùn)練方法上的不同：「它的前面 3 層做特征工程, 而后 2 層做標(biāo)簽工程。NN1.0 時代，前 3 層的特征工程依賴于領(lǐng)域?qū)＜艺页鎏卣?；?nbsp;NN2.0 所使用的 BP 則能夠利用反向傳播訓(xùn)練到所有 5 層：包括 3 層特征層及 2 層標(biāo)簽層。這樣的話，NN2.0 就擺脫了對領(lǐng)域?qū)＜业囊蕾?，NN 因而也正式地進(jìn)入 NN2.0 （Deep Learning）時代?，F(xiàn)在 AI 和機器學(xué)習(xí)基本上是綁定在一起了，大家也公認(rèn) NN2.0 是當(dāng)下 AI 的領(lǐng)頭樣，從而也把 NN2.0 及 AI2.0 畫上了等號。」

然而， NN2.0 雖然擺脫了對領(lǐng)域?qū)＜业囊蕾?，讓神?jīng)網(wǎng)絡(luò)進(jìn)入到一個新的時代，但是它仍存在某種程度上的問題和缺陷。對此，貢三元教授分析到：

由于 NN 2.0 的 Teacher 是擺在外部的, 因此這樣的訓(xùn)練過程無法做結(jié)構(gòu)和神經(jīng)元細(xì)粒度優(yōu)化，也就是說在 NN2.0 時代，機器學(xué)習(xí)事先設(shè)定了固定的架構(gòu)，只做參數(shù)訓(xùn)練，所以對 NN2.0 而言，網(wǎng)絡(luò)的訓(xùn)練取決于外部優(yōu)化指標(biāo)（External Optimization Metric，EOM)。更準(zhǔn)確地說，BP 算法取決于相對于 Teacher 的誤差，誤差越大，修正就越多。

這實際上也暴露了  NN 2.0 所存在的某些問題：首先，當(dāng)機器學(xué)習(xí)要學(xué)習(xí)太多層時，普通 BP 是無法應(yīng)對過來的，需要使用 Deep BP 的技術(shù)；而更嚴(yán)峻的問題是，神經(jīng)網(wǎng)絡(luò)的架構(gòu)一旦確定后就無法改變，也就是說如果網(wǎng)絡(luò)的大小、寬度和厚度事先都固定好了，一旦無法通過調(diào)參來得出好的結(jié)果時，就不得不重新訓(xùn)練另外一個網(wǎng)絡(luò)結(jié)構(gòu)。

在對機器學(xué)習(xí)以及神經(jīng)網(wǎng)絡(luò)的這一探索過程中，貢三元教授也產(chǎn)生了深深的使命感，正是在這種使命感的引導(dǎo)下，他也一直致力于為 NN 2.0 所存在的問題尋找出路。而這一出路便是貢三元教授最新提出的 NN3.0。

從 NN 2.0 的深度學(xué)習(xí)到 NN3.0 的深入學(xué)習(xí)

NN3.0 也是貢三元教授在本次全球人工智能應(yīng)用創(chuàng)新峰會上分享的重要成果。他創(chuàng)造性地提出了深入學(xué)習(xí)（Internal Learning）這一新概念，對神經(jīng)網(wǎng)絡(luò)同時做參數(shù)和架構(gòu)的訓(xùn)練，這樣的話，整個訓(xùn)練過程就能深入網(wǎng)絡(luò)內(nèi)部結(jié)構(gòu)，并實現(xiàn)神經(jīng)元的優(yōu)化，不僅能夠?qū)崿F(xiàn)內(nèi)部神經(jīng)元可學(xué)習(xí)性，還兼具內(nèi)部神經(jīng)元可解釋性。由此，NN 跨入 NN 3.0 時代。

貢三元教授也非常詳細(xì)地解釋了 NN 2.0 及 NN 3.0 的區(qū)別，以及  NN 3.0 為機器學(xué)習(xí)領(lǐng)域所帶來的革命性影響。他表示，雖然 NN 3.0 與 NN 2.0 一樣，都屬于監(jiān)督學(xué)習(xí)，需要 Teacher，然而它放置 Teacher 的位置與 NN 2.0 截然不同：NN 2.0 將 Teacher 放置在神經(jīng)網(wǎng)絡(luò)外部，只能從神經(jīng)網(wǎng)絡(luò)外部進(jìn)行訓(xùn)練，無法捕捉內(nèi)部神經(jīng)元的行為；而 NN 3.0 則將 Teacher 放置于神經(jīng)網(wǎng)絡(luò)的內(nèi)部，既能調(diào)參數(shù)，同時也能調(diào)架構(gòu)。

另外在對 Teacher 所使用訓(xùn)練方法上，NN3.0 也與 NN2.0 有所不同：除了外部優(yōu)化指標(biāo)（External Optimization Metric，EOM）, NN3.0 還采用了內(nèi)部優(yōu)化指標(biāo)（Internal Optimization Metric，IOM）來實現(xiàn)神經(jīng)網(wǎng)絡(luò)的內(nèi)部學(xué)習(xí)。這樣的話，NN3.0 可以直接深入到神經(jīng)網(wǎng)絡(luò)內(nèi)部，利用數(shù)學(xué)模型就能夠很簡易地對每一個神經(jīng)元實現(xiàn)精準(zhǔn)計算和衡量。其具體的實現(xiàn)方式是，在機器學(xué)習(xí)過程中將 Teacher 送進(jìn)神經(jīng)網(wǎng)絡(luò)內(nèi)部，然后用 IOM 評價標(biāo)準(zhǔn)算出各個神經(jīng)元的分?jǐn)?shù)，再淘汰掉分?jǐn)?shù)最低的神經(jīng)元，從而對神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)做出最優(yōu)化處理。實際上，這也說明了神經(jīng)元參差不齊的特性，因而機器學(xué)習(xí)也應(yīng)該將其作為結(jié)構(gòu)學(xué)習(xí)的重要指標(biāo)。

貢三元教授又以一個實際案例對神經(jīng)元參差不齊的特性以及判斷出各個神經(jīng)元的好壞的重要性，進(jìn)行了補充說明：「比如說在雙人網(wǎng)球賽上，一般大家會認(rèn)為隊伍中每個球員都很重要，缺一不可。然而在大團(tuán)隊計劃中, 隊員們的水平往往會參差不齊，并且團(tuán)隊最忌諱的就是有破壞性的「豬隊友」——它不僅不給團(tuán)隊加分，反而會減分。所以，如果要讓神經(jīng)網(wǎng)絡(luò)能做結(jié)構(gòu)訓(xùn)練，就必須讓它自行判斷出哪個神經(jīng)元好以及哪個不好，然后選擇出最壞的、最有破壞性的神經(jīng)元，并將其丟掉?！?/p>

值得一提的是，貢三元教授還表示這一創(chuàng)新理論其實也受到了生物學(xué)相關(guān)知識的啟發(fā)。他提到：「人每天起床前，都會有成千上萬個腦神經(jīng)元在睡夢中退化淘汰，經(jīng)過新陳代謝后，人的思維反而更清晰了。同樣的道理，NN2.0 中不好的那些神經(jīng)元不僅會消耗計算，而且經(jīng)過訓(xùn)練后也可能會導(dǎo)致過擬合（overtrained）的問題。而 NN3.0 則提供了解決捷徑：通過淘汰掉低分?jǐn)?shù)的神經(jīng)元，神經(jīng)網(wǎng)絡(luò)在提升性能的同時，也大幅度節(jié)省計算?！?/span>

借助鯤云在芯片上的優(yōu)勢，NN3.0 能高效率應(yīng)用在 FPGA

為了加強 NN3.0 的應(yīng)用，貢三元教授在整個 NN3.0 網(wǎng)絡(luò)的設(shè)計上，也考量了對于機器學(xué)習(xí)來說至關(guān)重要的五項指標(biāo)：第一，高性能；第二，小體積；第三，快速度；第四：低功耗；第五：延遲性問題。在本次主題演講里，他也將 NN3.0 模型和最有代表性的 NN2.0 模型做了綜合性的比較，結(jié)果顯示，NN3.0 在以上指標(biāo)呈現(xiàn)出了相當(dāng)程度的優(yōu)勢。

貢三元教授表示，其團(tuán)隊目前正在嘗試跟鯤云科技合作，希望借助鯤云科技在技術(shù)應(yīng)用落地尤其是人工智能芯片上的積累和優(yōu)勢來加速 NN 及 AI 的應(yīng)用。

對于 NN3.0 以后的發(fā)展，貢三元教授表達(dá)了他的信心, 并指出了 NN3.0 可能實現(xiàn)的兩種突破性應(yīng)用：

• 第一種可能的應(yīng)用，是 NN3.0 將能在夠機器互動及機器間互學(xué)習(xí)方面發(fā)揮巨大的價值?！?span style="line-height: 1.8;">現(xiàn)在我們正在迎接 5G 時代的來臨，未來在很小的范圍內(nèi)就有可能同時進(jìn)行成千上萬的機器學(xué)習(xí)，而機器互動及機器間互學(xué)習(xí)也會變成數(shù)據(jù)處理的一個新里程碑。正是得益于 NN3.0 的深入學(xué)習(xí)讓我們在網(wǎng)絡(luò)結(jié)構(gòu)的訓(xùn)練上有了更深入的了解，我們的團(tuán)隊目前在研究一種加強性的轉(zhuǎn)換學(xué)習(xí)技術(shù) （Reinforced Transferable Learning），該技術(shù)有潛能把一個機器學(xué)習(xí)的結(jié)構(gòu)轉(zhuǎn)換為另外一個機器所用，從而加強另外一個機器的性能。」

• 另一種可能的應(yīng)用，則是 NN3.0 的內(nèi)部神經(jīng)元可學(xué)習(xí)性（Internal Neuron Learnability）可以直接應(yīng)用到 XAI3.0 的內(nèi)部神經(jīng)元可解釋性（Internal Neuron Explainability），從而解決 BP 算法所存在的不可解釋性。對于 AI 可解釋性在未來 AI 發(fā)展領(lǐng)域的重要性，貢三元教授也用具體實例來進(jìn)行了說明：「在 80 年代，美國政府曾對 NN1.0 給予了大量經(jīng)費資助，然而之后停了一大段時期，因此深度學(xué)習(xí) NN2.0 的主要發(fā)現(xiàn)（獲今年圖靈獎）反而是靠加拿大政府資助的。為了扭轉(zhuǎn)乾坤，美國政府又奮起直追，將成千上萬經(jīng)費投資在可解釋性 AI（XAI）上，這也順勢帶領(lǐng)了未來 AI3.0 的趨勢——朝著可解釋性的人工智能網(wǎng)絡(luò)發(fā)展，也就是所謂的 XAI3.0?！?/span>

AI 技術(shù)實際應(yīng)用有 5 大要素

雖然貢三元教授一直在學(xué)術(shù)界耕耘，我們在采訪中也探討了關(guān)于 AI 技術(shù)在實際應(yīng)用上的現(xiàn)狀以及它所面對的挑戰(zhàn)，他認(rèn)為 AI 工業(yè)應(yīng)用有 5 個關(guān)鍵要素：

• 第一個是架構(gòu)及芯片設(shè)計 (Architecture & Chip Design)

• 第二個是計算方法 (Algorithm）

• 第三個是應(yīng)用（Application）

• 第四個是通訊網(wǎng)絡(luò) （Communication network）

• 第五個是云端 （Cloud）

對于目前這 5 個關(guān)鍵要素在各個國家的實現(xiàn)程度，貢三元教授特別指出中國雖然在芯片設(shè)計、計算方面尚存在不足，但整體而言在其它領(lǐng)域都有相當(dāng)?shù)囊?guī)模及深度。

在芯片設(shè)計、計算方面的不足在某種程度上也暴露出了中國研究者在 AI 基礎(chǔ)性研究方面所存在的不足，而這深根究底就離不開中國目前的教育制度以及研究方法所存在的問題。對此，貢三元教授也從中美兩國不同的教育機制角度，表達(dá)了他的看法：

目前中國學(xué)術(shù)界大多是使用論文做基本指標(biāo)，并且指標(biāo)周期也是相對短期的：在一兩年內(nèi)要求他們出成果。然而在美國，我認(rèn)為我的母校斯坦福大學(xué)就做得很好，它會給予研究者 2 年到 5 年的研究期限。普林斯頓大學(xué)就更是如此，它是全世界最具有學(xué)者氛圍的高校，一般的研究期限可以達(dá)到 5 年到 20 年，這也是我能夠有寬裕的時間寫出這么多書的原因。在這種科研發(fā)展體制下的 AI 研究工作，一開始有可能是不斷摸索，甚至于無止境地?zé)X，但是一做出成果就相當(dāng)有分量，甚而有圖靈獎級的成果。這是當(dāng)下中國教育及中國科研發(fā)展亟需學(xué)習(xí)和思考的。

做基礎(chǔ)研究要有基本價值觀，數(shù)學(xué)是 AI 研究的「制勝法寶」

作為一位人工智能領(lǐng)域的前輩研究者以及一位德高望重的教育家，貢三元教授也一直關(guān)注著中國后輩研究者的研究動態(tài)，對于他們，他也提出了三點建議：

• 第一，做基礎(chǔ)研究要有自己的基本價值觀。當(dāng)下研究圈內(nèi)跟風(fēng)、跟熱點的現(xiàn)象比較嚴(yán)重，所以研究者們一定要有自己的判斷以及長遠(yuǎn)的眼光，不能被短期的研究熱點所迷惑，不能跟風(fēng)。

• 第二，要對事情存疑。尤其是中國學(xué)生特別容易相信論文或者權(quán)威，其實這種思維很危險。研究者們一定要懂得去探究為什么，不然跟錯了方向都不自覺，這是我對中國年輕人的期許。

• 第三，一定要加強對基礎(chǔ)知識尤其是數(shù)學(xué)的重視。特別是博士學(xué)生，更是要加強自己在數(shù)學(xué)方面的積淀，因為如果想把中國的人工智能研究帶到全世界頂尖的位置，就必須要借助數(shù)學(xué)這一制勝法寶。

其中，對于數(shù)學(xué)的重要性，他更是以自己在教學(xué)方面對于數(shù)學(xué)的看重為例進(jìn)行強調(diào)：「現(xiàn)在我在普林斯頓大學(xué)教的課表面上是深度學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)相關(guān)課程，事實上我的授課重點是面向深度學(xué)習(xí)的數(shù)學(xué)。這是因為我認(rèn)為數(shù)學(xué)基礎(chǔ)對于 AI 科研工作者來說非常重要?！?/span>

也正是因為中國學(xué)生在數(shù)學(xué)方面無論是質(zhì)還是量都達(dá)到了世界一流的水平，貢三元教授也在看到了他們在 AI 基礎(chǔ)研究方面的極高潛能。 「數(shù)學(xué)好，才能夠在 AI 領(lǐng)域做出革命性的成果。而中國學(xué)生在這方面擁有極大的優(yōu)勢，因而對于中國學(xué)生而言，AI 絕對是一個千載難逢的機會?！?/p>

 （完）雷鋒網(wǎng) AI 科技評論報道。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。