0
| 本文作者： 我在思考中 | 2022-01-21 09:49 |
編輯丨青暮
2021年12月17日，西安電子科技大學(xué)人工智能學(xué)院教授、歐洲科學(xué)院外籍院士、IEEE Fellow焦李成受邀參加2021中國計(jì)算機(jī)大會“下一代演化計(jì)算發(fā)展趨勢”論壇，并做了“進(jìn)化優(yōu)化與深度學(xué)習(xí)的思考”的主旨報(bào)告。
在報(bào)告中焦李成梳理了“進(jìn)化”相關(guān)的發(fā)展淵源與思想起源，指出了當(dāng)前人工智能的學(xué)術(shù)缺陷與實(shí)際困境，并從類腦的角度給出了解決路徑：
“神經(jīng)網(wǎng)絡(luò)不應(yīng)該是目前的意義上進(jìn)行權(quán)重調(diào)參，它的結(jié)構(gòu)應(yīng)該具備變化性、可塑性、學(xué)習(xí)性和動態(tài)性；在類腦感知的過程中，腦的獎懲、學(xué)習(xí)、信息表征機(jī)制，以及突觸的學(xué)習(xí)記憶、再生長和發(fā)育的機(jī)制對于信息的重建及編碼和處理具有重要的作用。上述特性是現(xiàn)有深度網(wǎng)絡(luò)所沒有重視的。”
以下是報(bào)告全文，AI科技評論做了有刪改的整理：
今天的演講主要分為五個(gè)部分：發(fā)展淵源與思想起源、進(jìn)化優(yōu)化與學(xué)習(xí)、類腦表征學(xué)習(xí)與優(yōu)化、進(jìn)化優(yōu)化與深度表征學(xué)習(xí)，以及思考與挑戰(zhàn)。
人工智能幾十年來得到了長足的發(fā)展，而進(jìn)化優(yōu)化和類腦啟發(fā)的深度學(xué)習(xí)是現(xiàn)在人工智能技術(shù)的核心，其關(guān)鍵是：用腦處理知識和自然演化思想發(fā)展人工智能技術(shù)。這兩個(gè)思想的發(fā)展可以通過歷年頒發(fā)的科學(xué)獎項(xiàng)窺得一二。
例如通過梳理腦科學(xué)諾貝爾獎可以明晰“人類如何思考”，回顧圖靈獎可以討論“機(jī)器如何進(jìn)行學(xué)習(xí)和推理”，了解歷年生物相關(guān)的諾貝爾獎，可以在“生物如何選擇優(yōu)化”方面給我們啟示。那么這些工作對現(xiàn)在的人工智能技術(shù)發(fā)展有什么啟示？
其實(shí)，目前學(xué)者用人工智能解決實(shí)際問題可以分為以下幾個(gè)步驟：機(jī)器學(xué)習(xí)推導(dǎo)符號 =>深度學(xué)習(xí)=>深度強(qiáng)化學(xué)習(xí)（感知+決策）=>深度遷移學(xué)習(xí)（環(huán)境適應(yīng)）=>深度元學(xué)習(xí)（自動學(xué)習(xí)）。對于這一步驟路徑，徐宗本院士曾經(jīng)有一段關(guān)于機(jī)器自動學(xué)習(xí)的描述：
“機(jī)器學(xué)習(xí)自動化：首先在數(shù)據(jù)層面上，數(shù)據(jù)樣本需要實(shí)現(xiàn)自生成、自選擇；其次在模型算法層面上，模型算法需要實(shí)現(xiàn)自構(gòu)建、自設(shè)計(jì)；最后在環(huán)境任務(wù)層面上，環(huán)境任務(wù)要實(shí)現(xiàn)自適應(yīng)、自轉(zhuǎn)換。人工智能的發(fā)展軌跡應(yīng)該是從人工走向自動化，再邁向自主智能?！?/section>
從這段話也可以看出，這幾個(gè)步驟環(huán)環(huán)相扣，一層比一層有難度，那么我們應(yīng)該如何更加有效的優(yōu)化這條路徑？
進(jìn)化優(yōu)化的思想起源很早，達(dá)爾文提出的全局優(yōu)化以及拉馬克、班德溫提出的局部學(xué)習(xí)奠基了如今進(jìn)化算法的學(xué)術(shù)思想。在進(jìn)化學(xué)習(xí)語境下，我們希望無組織機(jī)器通過進(jìn)化、學(xué)習(xí)、反饋的路徑找到通用的機(jī)器學(xué)習(xí)方法。
1948年，圖靈在《智能機(jī)》報(bào)告中也指出從嬰兒到成人，人類大腦皮層可以看做從無組織機(jī)器進(jìn)化為通用機(jī)器。在這之后，進(jìn)化優(yōu)化發(fā)展出了四大基本分支：
進(jìn)化編程：1960年，L.J.Fogel提出將模擬進(jìn)化作為一個(gè)學(xué)習(xí)過程以生成廣泛的人工智能機(jī)器，其強(qiáng)調(diào)自然進(jìn)化中群體級行為變化。
進(jìn)化策略：1964年，德國柏林工業(yè)大學(xué)的兩位學(xué)生 L.Rechenberg與H. Schwefel借鑒生物的變異和選擇提出了進(jìn)化策略。
遺傳算法：1975年，J.H.Holland借鑒了C.R.Darwin的生物進(jìn)化論與G.J.Mendels的遺傳定律提出了遺傳算法。
遺傳編程：1980年，S.F.Smith提出了基于遺傳自適應(yīng)算法的學(xué)習(xí)系統(tǒng)，J.R.Koza撰寫了《遺傳編程：用自然選擇讓計(jì)算機(jī)編程》。
根據(jù)進(jìn)化計(jì)算思想，科學(xué)家們又設(shè)計(jì)了它的動力學(xué)過程：群體智能，它可以由混沌狀態(tài)出發(fā)，通過價(jià)值啟發(fā)信息探索規(guī)律、模式和知識，最終得到解。它的過程是通過動力學(xué)的演化過程，以概率1收斂到全局最優(yōu)解，特點(diǎn)表現(xiàn)為隨機(jī)、非線性、遍歷、自組織性、適應(yīng)性、多樣性、穩(wěn)定性和高度并行性。
如上圖所示，群體智能的思想起源很早，其代表性的方法包括蟻群優(yōu)化、粒子群優(yōu)化、免疫算法、螢火蟲算法等等。利用進(jìn)化優(yōu)化求解復(fù)雜問題，主要是利用它的并行性、奇異性、易修改性、高度的非線性以及廣泛的應(yīng)用性等特點(diǎn)，從而匹配NP難問題和組合爆炸問題。
此外，在進(jìn)化優(yōu)化算法發(fā)展的過程中，自然免疫學(xué)理論為人工免疫進(jìn)化優(yōu)化提供了堅(jiān)實(shí)的理論基礎(chǔ)。從信息負(fù)表示算法到免疫進(jìn)化算法，再到人工免疫的網(wǎng)絡(luò)、克隆選擇算法，以及樹突細(xì)胞算法，讓進(jìn)化優(yōu)化算法有了“利用先驗(yàn)知識，具有容錯(cuò)性、免疫性、魯棒性”等特點(diǎn)，使其和實(shí)際問題更加靠近，能夠在動態(tài)中尋求最優(yōu)解。
生物免疫同樣也證明了這一點(diǎn)，生物諾獎的領(lǐng)域也為發(fā)展新的算法提供了堅(jiān)實(shí)的理論基礎(chǔ)。“在記憶中學(xué)習(xí)，在遺忘中加速”使最優(yōu)解算法更加有效，符合優(yōu)勝劣汰的根本思想。
人工免疫系統(tǒng)模型的特點(diǎn)是：學(xué)習(xí)記憶性、多樣性、分布性、容錯(cuò)性和被動免疫性。這也為構(gòu)造高效、魯棒、容錯(cuò)的算法提供了生物的基礎(chǔ)。人工免疫系統(tǒng)方法應(yīng)用在各個(gè)領(lǐng)域，已經(jīng)有非常好的表現(xiàn)，希望它能夠和進(jìn)化計(jì)算、深度學(xué)習(xí)結(jié)合起來，共同推動領(lǐng)域發(fā)展。
提及進(jìn)化，一定離不開類腦的感知和認(rèn)知，離不開神經(jīng)網(wǎng)絡(luò)以及深度學(xué)習(xí)。2021年諾貝爾醫(yī)學(xué)獎頒給了David Julius和Ardem Patapoutian，當(dāng)時(shí)給出的獲獎理由是：
人體對熱、冷和觸覺的感知能力對我們的生存至關(guān)重要，并且支撐著我們與周圍世界的互動。他們發(fā)現(xiàn)了“溫度和觸覺的受體”。
這給我們帶來了“類腦感知與認(rèn)知研究非常有意義”的啟示。從類腦的感知到認(rèn)知是長時(shí)間的過程，而認(rèn)知科學(xué)是一門對心智及其過程進(jìn)行多學(xué)科研究的科學(xué)，如果說感知包含視覺、聽覺、觸覺、味覺等，而認(rèn)知是教會我們理解、思考、推斷、決策，那么如何對心智及其過程進(jìn)行準(zhǔn)確而全面的觀察是認(rèn)知科學(xué)的基礎(chǔ)，也是巨大的挑戰(zhàn)。Tomaso A.Poggio教授認(rèn)為：人工智能過去的突破來自于神經(jīng)科學(xué)，將來的突破也來自于神經(jīng)科學(xué)。
回憶類腦的感知和認(rèn)知，首先要了解腦的生物機(jī)理和基本特性。如上圖所示，人腦的六個(gè)特性是近20年生物界最新發(fā)現(xiàn)：稀疏性、學(xué)習(xí)性、選擇性、方向性、知識性和多樣性。
稀疏性：1996年， Olshausen和 Field在《Nature》上發(fā)文提出神經(jīng)元稀編學(xué)說；2007年，Svoboda和 Brecht在《Science》上發(fā)表論文，用白鼠實(shí)驗(yàn)驗(yàn)證了神經(jīng)元“稀疏編碼”假說。
學(xué)習(xí)性：2011年，美國MIT學(xué)者 Tenenbaum與CMU、 Berkeley、 Standford大學(xué)等人在《Science》上指出：人類能從少量的數(shù)據(jù)學(xué)到一般化的知識，即具有“抽象知識”的學(xué)習(xí)能力。
選擇性：2011年， Pieter.R等在《Science》發(fā)文提出：經(jīng)實(shí)驗(yàn)證明，猴子大腦細(xì)胞具有自主控制注意區(qū)域的能力；2012年 Xilin Zhang在《Neuron》上發(fā)文提出視覺信息加工的初期具有顯著注意機(jī)制。
方向性：2015年 Arseny Finkelstein在《Nature》上指出生物大腦中存在能感知方向與位置信息的方位角和傾斜角細(xì)胞；2020年 Joshua Jacobsi等人在《Neuron》上發(fā)表觀點(diǎn)提出在人腦內(nèi)側(cè)額葉中發(fā)現(xiàn)了一種以自我為中心空間定位的神經(jīng)編碼模式。這群神經(jīng)元在空間和情景記憶中發(fā)揮重要作用。
而現(xiàn)在的深度學(xué)習(xí)只建立在巨量神經(jīng)元的并行上，更熱衷于前向的網(wǎng)絡(luò)，而對于神經(jīng)元與神經(jīng)元之間的反饋連接卻沒有多少研究。因此，對于類腦的感知和認(rèn)知，無論從宏觀層面、介觀層面以及微觀層面，都需“再出發(fā)”，都需要利用上述機(jī)理和特性進(jìn)行分析、模擬、構(gòu)造模型。
神經(jīng)網(wǎng)絡(luò)的發(fā)展有很長的歷史，上述圖片展示了一些卓越貢獻(xiàn)者。例如最早生物神經(jīng)元的提出者、MP神經(jīng)元模型的提出者、感知機(jī)的提出者、連續(xù)神經(jīng)元的提出者以及到后來明斯基提出感知器只能解決線性可分問題而不能解決非線性異或問題。
其他學(xué)者在神經(jīng)網(wǎng)絡(luò)領(lǐng)域的貢獻(xiàn)更加出色和難能可貴，例如Grossberg夫婦奮斗一生提出了自適應(yīng)共振機(jī)理論和三個(gè)ART系統(tǒng)。
在中國層面，提出發(fā)育神經(jīng)元模型的吳文俊先生，提出視覺通路中三色傳導(dǎo)學(xué)說的張香桐先生，模式識別的創(chuàng)始人傅京蓀以及提出了憶阻器、Chua電路、細(xì)胞神經(jīng)網(wǎng)絡(luò)等理論的蔡少棠先生為神經(jīng)網(wǎng)絡(luò)的發(fā)展做出了巨大貢獻(xiàn)。
值得一提的是，郭愛克、陳霖、蒲慕明等學(xué)者在生物領(lǐng)域的工作，為建立神經(jīng)網(wǎng)絡(luò)提供了良好的基礎(chǔ)。
時(shí)刻不能忘記前輩的努力，當(dāng)代華人學(xué)者也在接力，他們卓越的學(xué)術(shù)工作使得中國在國際上更有影響力。
另外，在2021年，深度卷積網(wǎng)絡(luò)發(fā)明者日本學(xué)者福島邦彥獲鮑爾獎，表彰他通過發(fā)明第一個(gè)深度卷積神經(jīng)網(wǎng)絡(luò)「 Neocognitron」將神經(jīng)科學(xué)原理應(yīng)用于工程的開創(chuàng)性研究，這是對人工智能發(fā)展的關(guān)鍵貢獻(xiàn)。LeCun也曾評價(jià)：福島邦彥教授1980年的卷積網(wǎng)絡(luò)工作給了他很大的啟發(fā)，促使了他1989,1998年分別提出CCN和LeNet。
人工智能的發(fā)展和深度學(xué)習(xí)的興起分不開，從1943年、1944年、1949年到今天，已經(jīng)經(jīng)歷了幾起幾落。值得一提的是，BP算法的出現(xiàn)讓神經(jīng)網(wǎng)絡(luò)可以學(xué)習(xí)多層網(wǎng)絡(luò)，從某種意義上回答了明斯基“單層感知器不能解決非線性可分”的問題。
BP算法出現(xiàn)自1974年，P.Werbos在其哈佛大學(xué)博士論文中首次給出詳細(xì)的數(shù)學(xué)推導(dǎo)。之后眾多學(xué)者在其基礎(chǔ)上進(jìn)行改進(jìn)才有了今天神經(jīng)網(wǎng)絡(luò)的發(fā)展。2021年Francis Crick最新工作指出：大腦實(shí)際上不太可能使用反向傳播，也就是說BP復(fù)制或傳遞突觸權(quán)重的信息進(jìn)行更新，但是在生物網(wǎng)絡(luò)中，神經(jīng)元只能接收到其他神經(jīng)元的輸出信息，而不能接收到突觸權(quán)重或內(nèi)部過程。這一發(fā)現(xiàn)也指出，更具生物學(xué)意義的學(xué)習(xí)機(jī)制，或許可以替代反向傳播機(jī)制，例如反饋比對、預(yù)測性編碼、錐體神經(jīng)元、注意力機(jī)制等等。
因此，神經(jīng)網(wǎng)絡(luò)不應(yīng)該只是如今意義上的權(quán)重調(diào)參，更重要的是其結(jié)構(gòu)要具有變化性、可塑性、學(xué)習(xí)性和動態(tài)性，目前這些特性是現(xiàn)在深度網(wǎng)絡(luò)所沒有重視的。
同樣，在類腦感知的過程中，獎懲機(jī)制、學(xué)習(xí)機(jī)制、信息表征機(jī)制、再生長和發(fā)育機(jī)制等，對于信息的重建、記憶編碼和處理具有重要的作用。目前這些特性在深度神經(jīng)網(wǎng)絡(luò)中也沒有得到重視。
人工智能中的“特征工程”、“特征搜索”、“表征學(xué)習(xí)”的說法，應(yīng)該換成“大數(shù)據(jù)驅(qū)動下的表征學(xué)習(xí)”、“大數(shù)據(jù)和知識先驗(yàn)驅(qū)動下的表征學(xué)習(xí)”，這樣顯然更有意義。
在研究認(rèn)知建模、自動學(xué)習(xí)以及漸進(jìn)演化的過程中，應(yīng)該結(jié)合環(huán)境的變化、自然的演化以及學(xué)習(xí)動態(tài)變化，能夠幫助我們在認(rèn)知、學(xué)習(xí)、優(yōu)化、計(jì)算、識別的道路上構(gòu)造新的模型，構(gòu)造新的算法，創(chuàng)新新的有潛力的途徑。
目前，我們將物理的Wishart極化特性與大腦的稀疏性相結(jié)合，提出了一種快速提取目標(biāo)信息的非線性稀疏變換網(wǎng)絡(luò)——Wishart Deep Stacking Network(W-DSN),設(shè)計(jì)了初級快速感知與高級層次感知模塊，能夠在噪聲未知時(shí)對目標(biāo)數(shù)據(jù)自動抽取高層語義特征，實(shí)現(xiàn)自動、高效、精準(zhǔn)的分類。
另一個(gè)工作是也把物理特征、腦的稀疏特征、多尺度特征與卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合，提出Contourlet卷積神經(jīng)網(wǎng)絡(luò)，解決了稀疏的、方向的、多非變的尺度特征的提取和表征問題。
人腦的進(jìn)化，包括神經(jīng)網(wǎng)絡(luò)的進(jìn)化，其實(shí)是參數(shù)的進(jìn)化、超參數(shù)調(diào)整，以及結(jié)構(gòu)進(jìn)化和動力學(xué)過程。而進(jìn)化算法其實(shí)是從人工到自動的突圍，深度學(xué)習(xí)與進(jìn)化相結(jié)合或許是讓機(jī)器學(xué)習(xí)擁有自動進(jìn)化能力的一種路徑。
深度與進(jìn)化結(jié)合的研究有兩方面的優(yōu)勢。其一，進(jìn)化解決深度網(wǎng)絡(luò)結(jié)構(gòu)、權(quán)重、參數(shù)等優(yōu)化的科學(xué)問題；其二，深度解決進(jìn)化搜索效率低、復(fù)雜度高的科學(xué)問題。具體而言，深度學(xué)習(xí)改善進(jìn)化計(jì)算收斂速度慢、解多樣性退化、質(zhì)量低的問題。
例如，利用深度神經(jīng)網(wǎng)絡(luò)表征問題的特性，維持群體多樣性；深度神經(jīng)網(wǎng)絡(luò)代替昂貴的適應(yīng)度評價(jià)過程；利用深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)進(jìn)化計(jì)算的選解機(jī)制。
進(jìn)化計(jì)算和深度學(xué)習(xí)相結(jié)合在謀求自動求解非線性、小樣本、大數(shù)據(jù)、高維度、組合爆炸等復(fù)雜向題非常有潛力。這方面的代表性工作是“神經(jīng)結(jié)構(gòu)進(jìn)化搜索(NAS)”。
神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的進(jìn)化研究已經(jīng)有幾十年的歷程，如上圖所示，已經(jīng)出現(xiàn)了一些出色的工作。它有如下特點(diǎn)：
無需求導(dǎo)：進(jìn)化搜索是隨機(jī)搜索算法，不需要計(jì)算梯度和解析的目標(biāo)函數(shù)。
群體特性：進(jìn)化搜索是基于種群的搜索算法，一次可以獲得多個(gè)解。
組合爆炸：進(jìn)化搜索應(yīng)用范圍廣，適合大規(guī)模復(fù)雜問題的優(yōu)化。
全局最優(yōu)解： 進(jìn)化搜索是隨機(jī)搜索方法，且算法以概率1收斂到全局最優(yōu)解。
非線性隨機(jī)：進(jìn)化搜索可以解決非線性問題，尋優(yōu)規(guī)則由概率決定。
并行計(jì)算：可以通過大規(guī)模并行計(jì)算來提高計(jì)算速度。
2021年的最新工作中，加拿大渥太華以及麥吉爾大學(xué)的研究人員表明：使用突發(fā)規(guī)則構(gòu)建的深度神經(jīng)網(wǎng)絡(luò)具有良好性能，為進(jìn)化神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索供了更加堅(jiān)實(shí)的理論基礎(chǔ)。換句話說，機(jī)器正在進(jìn)行的學(xué)習(xí)方式可以通過生理過程來逼近。
神經(jīng)網(wǎng)絡(luò)權(quán)值優(yōu)化也經(jīng)過了多年的發(fā)展。80年代提出的權(quán)重優(yōu)化相關(guān)工作包含動力學(xué)過程；而目前神經(jīng)網(wǎng)絡(luò)的進(jìn)化優(yōu)化，主要局限于權(quán)值的優(yōu)化和超參的優(yōu)化。這是組合爆炸問題，使得優(yōu)化過程收斂速度慢、計(jì)算時(shí)間長、復(fù)雜度高，而難以使用。因此，梯度優(yōu)化算法容易受到局部最優(yōu)的影響，而進(jìn)化算法在存在鞍點(diǎn)的情況下表現(xiàn)非常好。
當(dāng)前超參數(shù)選取大多依靠堆疊GPU，這只能緩解計(jì)算量問題，但從機(jī)理上而言，需要找到自動學(xué)習(xí)的方法。超參數(shù)優(yōu)化的問題在于：非線性、非凸、組合優(yōu)化、混合優(yōu)化、試錯(cuò)成本高、組合爆炸。經(jīng)過幾十年的發(fā)展，這些問題仍然沒有解決。
同樣有幾十年研究底蘊(yùn)的領(lǐng)域還有元學(xué)習(xí)，它需解決的基本問題是：元知識的表征、元學(xué)習(xí)器以及元目標(biāo)?，F(xiàn)在已經(jīng)有一系列的辦法解決可解釋性和魯棒性，但遠(yuǎn)遠(yuǎn)不夠，因?yàn)閷Ψ夯阅艿奶岣摺山忉屝缘淖非?、對進(jìn)化全局最優(yōu)解的追求永遠(yuǎn)在路上。
因此我們需要通過自然智能（包括類腦智能學(xué)習(xí)和優(yōu)化）來達(dá)成這些目標(biāo)。在進(jìn)化的路上，我們需要做到“耳聰目明”，例如表征的緊促、正交、準(zhǔn)確，學(xué)習(xí)的明確，解釋的清楚。以雷達(dá)研究為例，從最早的看得見，到測得準(zhǔn)，再到觀得清，最后到辨得明，這恰恰印證了人工智能（包括進(jìn)化計(jì)算和深度學(xué)習(xí)）的發(fā)展特點(diǎn)。
ABC，也就是人工智能（AI）、生物智能（BI）、計(jì)算智能（CI）有無限光明。希望我們共同牢記初心、不負(fù)使命、砥礪前行，認(rèn)認(rèn)真真、扎扎實(shí)實(shí)做學(xué)問。
2021-12-12
2021-12-25
2021-12-29
雷峰網(wǎng)雷峰網(wǎng)(公眾號：雷峰網(wǎng))
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
