隔多年，再看圖靈在1948年撰寫的報告——《Intelligent Machinery》，我們仍然會為這位數(shù)學天才對智能機器的想象與癡迷所折服。

在這份報告中，圖靈將嬰兒的大腦皮層比喻為一臺「無組織機器」（an unorganized machine），如同嬰兒在后天的教育（或「干預」訓練）中能逐漸成為一個「有組織的」成年人，行為規(guī)劃符合社會人類共識，無組織機器也能通過外界的信息交流干預（「paper interference」），成為一臺具有人類特征的、甚至會思考的「有組織機器」。

在第16頁，圖靈拋出一個觀點：

從進化與遺傳學的角度來看，將大腦皮層看作「無組織機器」的設想是非常令人滿意的。

圖靈將機器看作一個生命。如同物種在大自然中經(jīng)歷「優(yōu)勝劣汰」的選擇般，圖靈設想了一種「智能搜索」（intellectual searches），在解決包含多類型問題的大類問題 n 時，通過淘汰的方式選出適合的方案：

……按順序取整數(shù)并測試每個整數(shù)是否具有所需的屬性，直到找到具有某屬性的整數(shù)... 在各個階段，下一步的選擇可能都不止一個。不過，我們可能會將所有可能的選擇按順序排列，直到機器證明一個定理，并能按自己的方式驗證該定理以給出問題的解決方案。

在這份僅有20頁的報告中，圖靈的許多觀點成為現(xiàn)代人工智能的基礎。比如，無組織機器的進化思想，便奠定了后來「演化計算」（Evolutionary Computation）的學科基礎。演化編程、遺傳算法、演化硬件等等不可思議的概念，均沿襲于此。

不過，在90年代以神經(jīng)網(wǎng)絡為代表的連接主義興起后，演化計算逐漸成為計算機科學、甚至人工智能領域的一個小眾分支。從2003年創(chuàng)辦至今的CNCC，也是在今年才首次開設了以演化計算為主題的分論壇。

該論壇名為「下一代演化計算發(fā)展趨勢」，由南方科技大學計算機科學與工程系的系主任、IEEE Fellow姚新出任主席，并請到了徐宗本院士、焦李成院士、丁進良、唐珂與羅文堅等學者作演講。

圖注：姚新

姚新的本科就讀于中國科學技術大學少年班，師從陳國良院士與李國杰院士，從上世紀90年代博士期間開始研究演化計算，至今已有三十多年，是我國少數(shù)研究演化計算的國際知名學者之一，也是歷史上首位獲得神經(jīng)網(wǎng)絡最高獎「IEEE Frank Rosenblatt Award」的華人學者。

AI科技評論有幸邀請到姚新教授作為「Fellow來了」系列的第 02 期人物，與我們分享演化計算的研究特點、發(fā)展現(xiàn)狀與研究意義，尤其是演化計算與神經(jīng)網(wǎng)絡的結合。

1、什么是演化計算？

簡單來說，演化計算是一種基于自然選擇和遺傳變異等生物進化機制的全局性概率搜索算法，能夠在不要求函數(shù)連續(xù)、可微與單峰的情況下，找到問題的近似全局最優(yōu)解。

基于這些優(yōu)點，演化計算被廣泛用于NP與NPC難題求解、神經(jīng)網(wǎng)絡優(yōu)化、多目標優(yōu)化問題求解與其他眾多領域。

圖注：演化計算示例，通過程序迭代模擬，將要解決的問題看作一個環(huán)境，在一些可能的解組成的種群中，通過自然演化尋求最優(yōu)解。

追溯歷史，演化計算與人工智能的發(fā)展歷程很相似。

1958年的達特茅斯會議被稱為「人工智能」的起點，而演化計算方向的許多奠基性工作也是在上世紀60年代末、70年代初出現(xiàn)。繼圖靈討論「無組織機器」如何成長后，1966年，Lawrence J. Fogel 在其著作《Artificial Intelligence through Simulated Evolution》中提出「演化編程」，基于有限狀態(tài)機，用演化計算的方法設計一臺學習機，預測1、3、5、7、11……中的下一個整數(shù)是不是素數(shù)。

「這（預測素數(shù)）在數(shù)學界都是一個巨大的挑戰(zhàn)，但 Fogel 在66年就已經(jīng)想出用機器來預測，而不是靠人來算?！挂π赂袊@。

圖注：Lawrence J. Fogel

1964年，德國柏林工業(yè)大學的兩位學生 Ingo Rechenberg 與 Hans-Paul Schwefel 提出進化策略（Evolution strategies）；1975年，美國密歇根大學的 John Henry Holland 借鑒了達爾文的生物進化論與孟德爾的遺傳定律思想，提出「遺傳算法」（Genetic algorithms）。兩者后來均成為演化計算的重要分支。

尤其是遺傳算法。在《Adaptation in Natural and Artificial Systems》一書中，John Holland 十分強調「適應性」（adaptation），以及如何用遺傳算法來研究計算程序的自適應與自動搜索?；谶_爾文物種選擇理論的問題分析方法，遺傳算法開始于一定數(shù)量的初始點，每一個節(jié)點均具有隨機生成的特征，成功生成的節(jié)點會被合并、生成新的「智能體」，該「智能體」具有雙親的特征。

遺傳算法的高明之處，一是提供了研究進化論的空間與研究自然現(xiàn)象的獨特方法，二是利用進化論的思想進行計算機函數(shù)優(yōu)化，讓計算機開始具有通過「繁衍」來適應與學習的機制。

圖注：John Henry Holland

不過，由于當時計算機的容量小、運算速度慢、符號AI研究火熱等因素，演化計算的這些早期理論并沒有引起太多人的注意。

直到80年代，傳統(tǒng)人工智能的解題局限性開始凸顯；與此同時，計算機的速度得到顯著提高，演化計算開始被用于解決實際問題，在機器學習、工程優(yōu)化與過程控制等領域取得了極大成功，重新吸引了研究者的目光，在許多國家掀起了演化計算的研究熱潮。

2006年，NASA的ST-5航天器便使用了演化算法來設計空間、自動尋找更高效的X-band天線設計方案。由兩種進化算法（實值參數(shù)向量與樹結構生成表示）「繁衍」出的性能最優(yōu)的天線經(jīng)過構造與測試，均優(yōu)于手工設計的天線。而且，只需要調整適應函數(shù)，他們就可以在不到一個月的時間內快速進化出一套新的天線（如下圖）：

此外，2008年北京鳥巢體育館的鋼結構在設計的過程中也使用了演化計算，通過遺傳算法迭代而成，整體結構十分穩(wěn)固：

「而演化計算的最近一次大發(fā)展，是在2015年以后?！挂π轮赋?。深度學習崛起后，演化計算與人工智能的其他分支結合，形成新的研究方向，比如「演化神經(jīng)網(wǎng)絡」、「演化機器人」。

姚新指出，學習與進化是生物適應的兩大基本形式，兩者理應相互增益。他解釋：

「大多數(shù)深度學習模型首先是設計一個結構，然后訓練權值，但實際上，沒有一個生物的大腦在學習的過程中是結構固定、權值變化的。所有生物的大腦學習都是結構上的學習，而不是調調參數(shù)。從上世紀90年代開始，研究演化算法的人就強調，神經(jīng)網(wǎng)絡的學習應該是結構與參數(shù)的同時學習，而不是先設計一個結構、然后再去做參數(shù)的優(yōu)化?！?/p>

演化計算至少有4個主要分支：遺傳算法、演化編程、進化策略與遺傳編程。此外，演化計算中還有一些「小而美」的分支，比如共生演化、差分演化、蟻群算法和粒子群算法等等。姚新指出，AlphaGo與對抗學習的許多思想，與80年代末、90年代初演化計算研究者所提出的對抗性思想完全是同源而生，只是實現(xiàn)的手段不一樣。

除了對抗性思想，演化計算在多目標優(yōu)化與決策問題上也有著獨特的優(yōu)勢。比如，將一個大規(guī)模的深度學習模型安裝在手機上，目標1：高性能；目標2：模型安裝要控制在手機耗電量可承受的范圍內；目標3：安全…這種場景與運籌學中常遇到的優(yōu)化問題相似，但是，多目標演化算法可以在一次運行中找到整個Pareto front的近似解集，而不僅僅是一個解。這樣可以為決策者提供不同的折衷方案并方便決策者比較各種方案。傳統(tǒng)方法的缺點之一就是每次算法運行只能找到一個解。

此外，演化計算還擅長處理不確定環(huán)境中的學習與優(yōu)化問題（又稱為「動態(tài)優(yōu)化」問題）。比如，在機器人/自動駕駛車輛的研究中，目標方向是往正北走，但由于傳感器或機械臂的操控緣故，機器人的行走方向可能出現(xiàn)偏離，那么，機器便要進行動態(tài)優(yōu)化，適度調整，如將可能偏離45度的方向盤調整為0.0001度。在算法層面上，這樣的調整并不是一件容易的事，而演化計算可以通過迭代模擬，找出近似最優(yōu)的方案。

2、第一屆中科大少年班學生

姚新從上世紀80年代末開始研究演化計算，一直堅持到今天。

1978年，在諾貝爾物理獎華人獲得者李政道的倡導與鄧小平、方毅等國家領導人的支持下，一個特殊的教育班級在中國成立。

如李政道設想，它參考招收與培訓芭蕾舞蹈演員的方法，從全國選拔極少數(shù)年齡在13歲左右的優(yōu)秀少年到大學接受教育，目的是培養(yǎng)一支「少而精的基礎科學工作隊伍」。這個班級，就是后來大名鼎鼎的「中科大少年班」，而姚新是當年（1978年春）全國選拔的21位智商過人的少年之一。

圖注：部分中科大少年班首屆學生留影

本科畢業(yè)后，姚新聽從趙振西老師的建議，先是去了北京華北計算技術研究所（即「電子部15所」）攻讀碩士、以積累工程經(jīng)驗，「因為中科大偏理論，而趙老師認為，做研究缺乏工程知識總是不好的。」在15所，姚新研究了三年微程序設計。

1985年碩士畢業(yè)，姚新讀博，又回到中國科學技術大學，師從陳國良院士。陳國良是我國并行算法與高計算計算專家、中國科學院院士，在1995年創(chuàng)建了中國第一個國家高性能計算中心——國家高性能計算中心（合肥）。

讀博期間，姚新跟著陳國良學習，中間也花了許多時間到中國科學院計算技術研究所跟著李國杰院士做研究，是李國杰回國后帶的第一個學生。姚新回憶：

「兩位老師對我的幫助都非常大。在中科大，要上基礎課，還有討論班。我從博士論文開始研究模擬退火和演化計算，后來，陳國良老師還專門寫了《遺傳算法及其應用》（1996年）一書。

到了計算所跟著李國杰老師后，李老師的博士論文與博士后階段都是做組合搜索，是現(xiàn)在人工智能中很火的領域。那我想，李老師做組合搜索，我肯定比不過他，那我研究演化計算或模擬退火也挺好，李老師當初也同意，所以我的博士論文是關于模擬退火遺傳算法?！?/p>

圖注：用模擬退火算法解決旅行商推銷問題（TSP）

1990年，姚新到澳大利亞國立大學計算機科學實驗室（Computer Sciences Laboratory）擔任博士后，繼續(xù)從事模擬退火與演化計算的工作。也是從那時候開始，姚新開始研究遺傳算法與神經(jīng)網(wǎng)絡的結合，相關工作發(fā)表在1991年澳大利亞神經(jīng)網(wǎng)絡的年會上，引起了許多參會者的注意。

「不久后，昆士蘭又有一個小型的論壇，叫『AI and Creativity』。里面有個做人工智能的、偏哲學的英國教授叫Margaret Boden，跟我聊了很多，真的是堅定了我將演化計算與神經(jīng)網(wǎng)絡結合起來的研究方向。一些生物的知識書也是她推薦我去讀的，我也是看了這些書才知道，哦，原來生物大腦中的學習不是調參數(shù)，而是講突出的連接在那里變來變去。」

1991年，姚新加入澳大利亞最大的國家級科研機構 CSIRO 擔任博士后研究員；1992年開始，分別在澳大利亞國防軍學院與新南威爾士大學計算機科學學院擔任高級講師、副教授；1999年，他又去了英國伯明翰大學計算機學院擔任講席教授，直到2016年，在南方科技大學的邀請下回國、參與創(chuàng)立南科大計算機系并擔任系主任。

姚新在澳大利亞所結識的另一位人工智能華人先驅張成奇教授在南科大的辦公室，便與他在同一棟樓。

在研究上，姚新喜歡聚焦于具體的問題，以實際問題來驅動學術研究。

1999年，姚新提出了具有開創(chuàng)性的快速進化編程（fast evolutionary programming，“FEP”）方法。

進化編程（EP）方法原先用于人工智能的問題研究，后被用于解決數(shù)字與組合優(yōu)化問題。在解決多模態(tài)優(yōu)化問題上，EP方法的優(yōu)勢之一是可以通過緩慢的收斂得到一個出色的近似優(yōu)解。與經(jīng)典的EP方法相比，姚新所提出的FEP方法擅長在一個大的領域進行搜索，對黑箱優(yōu)化有優(yōu)獨特優(yōu)勢，后來被廣泛應用于神經(jīng)網(wǎng)絡結構學習、最優(yōu)路徑規(guī)劃、數(shù)字濾波器設計以及新材料的設計，單篇谷歌學術引用次數(shù)接近4000。

論文地址：http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.45.1830&rep=rep1&type=pdf

2000年，基于對約束條件處理的考慮，姚新與合作者又開發(fā)了一個隨機排序方法，將傳統(tǒng)的、看似復雜的懲罰函數(shù)與拉格朗日方程簡化為簡單的排序，在犧牲些許數(shù)學收斂性的情況下取得了很好的實際應用效果，是姚新在研究生涯中的一個階段性成果。雷鋒網(wǎng)

論文地址：https://www.cs.bham.ac.uk/~xin/papers/published_tec_sep00_constraint.pdf

憑借在演化計算上的一系列開辟性成果，姚新在2003年當選 IEEE Fellow。

除了早期的兩大重要成果，姚新還提到他在2006年將演化計算應用于撒鹽車調度的項目。撒鹽車的調度涉及到車輛數(shù)量、每輛車的噸位、調度范圍等等，原屬于運籌學的研究范圍，但在實際的運行中，假設車隊有11輛車，載重范圍為2.5噸到9噸，重量不固定，那么傳統(tǒng)的數(shù)學方法便無法假設一個數(shù)值來進行計算，也難以設計算法。雷鋒網(wǎng)

「現(xiàn)實生活中的調度問題與書本上的非常不一樣。首先路況是隨時間變的，車輛行駛速度也不固定，車有可能拋錨壞了，等等?！挂π陆忉專笇τ谶@類充滿不確定性的優(yōu)化問題，相對傳統(tǒng)的數(shù)學或運籌學方法，演化計算是有優(yōu)越性的。它能在復雜的動態(tài)環(huán)境中找到近似最優(yōu)解。」

從這個項目開始，姚新一直致力于將演化計算用于在不確定性的環(huán)境中做動態(tài)優(yōu)化。除此之外，他與團隊著重于研究演化計算如何應用于多目標優(yōu)化決策。

姚新設想，計算機系統(tǒng)應該是一個可以長期演化的系統(tǒng)：「我可以做初始化的設計，等初始化設計完成后，通過與環(huán)境交互，這個系統(tǒng)的軟件與硬件應該會一直進化下去，（就像生物一樣），在不同的環(huán)境中就會進化成不同的系統(tǒng)?！?span style="color: #FFFFFF;">雷鋒網(wǎng)

能夠進化的系統(tǒng)，聽起來天方夜譚，但在許多場景中是剛需。比如外太空設備。從地面發(fā)射信號到外太空，需要好幾分鐘，但在地面的遙控者無法預測這幾分鐘里所發(fā)生的事情。這時候，如果系統(tǒng)具備自適應、自演化的功能，就能處理未知的、不確定的環(huán)境。再比如無人區(qū)的基礎設施維護，如果設備具有自適應功能，能夠自動更新與重組，那么就可以免去人工檢測的成本與風險。

問及系統(tǒng)自動進化的前景，姚新頗有自信地答道：「我覺得在不久的將來就可以部分實現(xiàn)，尤其是在軟件層面?，F(xiàn)在很多東西都是『軟件可定義』，這實際上對演化計算是一個利好消息，就給我們一個發(fā)揮能力的基礎設施，通過修改軟件就能修改硬件的配置?！?/p>

3、CNCC分論壇：演化計算的下一代發(fā)展趨勢

不可否認，目前演化計算在國內仍是一個小眾方向。

從本質上看，一個研究方向的規(guī)模大小與其在商業(yè)上的成功有著莫大關聯(lián)。比方說，深度學習興起的最大推手就是企業(yè)，深度學習之所以能成功，是因為其在產(chǎn)業(yè)中孵化出許多應用，能給企業(yè)帶來經(jīng)濟效益，而演化計算對產(chǎn)業(yè)的影響力有限，「即使用演化計算設計天線，也只是設計直徑為1cm的天線，而不是所有天線?！?/p>

而第二個原因，是了解演化計算的人不多。姚新感嘆：「演化計算在許多場景中適用，但大家一般是先嘗試了許多其他方式、發(fā)現(xiàn)行不通了，才會想到演化計算?！?/p>

為此，作為演化計算的忠實研究者，科研之余，姚新也將一部分的精力放在了演化計算的「布道」上，讓更多人了解到研究演化計算的重要性：

在圖靈發(fā)表于1948年的報告中，他就專門花了2頁的篇幅探討演化計算的思想，這也說明從很早開始，演化計算就已經(jīng)是計算機科學與人工智能中不可分割的一部分。一直到2015年，Nature推出人工智能?？瘯r，收錄了6篇長文，其中1篇（如下）就是專門講演化計算。

論文鏈接：https://research.vu.nl/en/publications/from-evolutionary-computation-to-the-evolution-of-things

姚新介紹，演化計算與機器學習的關系，就相當于自適應的兩個基礎模式。機器學習是個體學習，研究如何在最短的時間內適應一個訓練集，時間粒度比較短，而演化計算是群體學習，通過對解空間采樣、做比較與淘汰，時間粒度比較長，兩者互補，對人工智能缺一不可。

「在研究演化計算時，你是避不開機器學習的，因為從一開始，演化計算就包含在機器學習領域。早期的演化計算論文也是發(fā)表在與機器學習相關的會議與期刊。」姚新回憶，「我與張成奇認識，就是因為參加了他1993年在澳大利亞舉辦的全澳人工智能會議。」

姚新認為，在未來的人工智能發(fā)展中，當個體的快速學習已經(jīng)研究得差不多時，人們遲早會意識到，個體的學習距離通用人工智能是有一定距離的。這時，人們一定會考慮其他的途徑，演化計算便是其中的一個選擇。

比方說，南京大學的周志華團隊雖然一直研究機器學習，但近年來也在演化計算上有所造詣。2019年，周志華便與他的兩個學生（錢超、俞揚）出版了《演化學習：理論和算法的進展》英文版一書。

除了周志華團隊，中國研究演化計算的學者還有西安電子科技大學焦李成的研究團隊、徐宗本院士團隊、原先武漢大學康立三教授的部分學生，以及中國科技大學陳國良院士與王旭法教授所帶領的學生。

在即將召開的CNCC分論壇「演化計算的下一代發(fā)展趨勢」中，姚新便邀請了數(shù)位能到現(xiàn)場作演講的嘉賓，包括徐宗本、焦李成、唐珂、丁慶良等學者。

據(jù)姚新介紹，此次論壇的演講內容頗符合李國杰院士所提出的「頂天立地」的口號。徐宗本院士主要從基礎理論出發(fā)，解析演化計算與機器學習的關系；丁慶良介紹如何將演化算法應用到工業(yè)控制中，解決實際問題；唐珂探討如何用演化計算自動設計算法，而焦李成則從理論到實踐系統(tǒng)地研究演化計算及其應用。

論壇的時長只有3個小時，姚新明白，一次「布道」并不能將問題真正吃透。所以，他更希望這個論壇是一次「播種」，將「演化計算」的種子播撒在參會者的心里。

就姚新個人而言，國內演化計算研究發(fā)展的關鍵點有兩個：

一是做有影響力的應用，解決實際問題。與此同時，也要找到適合演化算法解決的問題，「比如2006年NASA的研究員想到用演化計算來設計直徑1cm的小型衛(wèi)星天線就很巧妙。當一個問題無法用數(shù)學方程描述、只能通過采樣的方法做模擬優(yōu)化時，演化算法的優(yōu)越性便顯示出來了。」

「我經(jīng)常講一個可能不是很恰當?shù)谋扔鳎鹤钸m合用演化計算的實際問題，是一些特別難的問題，難到其他方法都覺得毫無頭緒，這時，演化計算的相對優(yōu)越性就出來了。不是說演化計算更好，而是有相對的優(yōu)越性?！挂π抡劦馈?/p>

其次，演化計算要在理論上有所突破。如周志華團隊所做的努力，從理論上分析演化計算的優(yōu)越性與不足之處，從而對整個領域的發(fā)展與應用起到指導性的作用。姚新自己也與合作者在演化算法計算復雜性分析方面耕耘多年，仍在繼續(xù)努力。

4、結語

國內演化計算的圈子本來就狹小。

問及當年決定回國的原因，姚新談道：

「做學術的人總想做點更有影響力的工作。南方科技大學地處深圳，IT企業(yè)眾多，學校希望建設一個有特色的計算機科學與工程系。一張白紙總是畫起來更方便。

南科大老師說：你的余生有兩個比較大的方向，一是繼續(xù)留在伯明翰，發(fā)論文、培養(yǎng)博士生，二是去創(chuàng)建一個新的計算機系，把你的理念傳給本科生，按你的想法做一些你在伯明翰沒那么容易做的事情。這一點很吸引我。

做沒有做過的事情、從本科階段就開始培養(yǎng)學生做研究，這對姚新來說都是前所未有的挑戰(zhàn)，而按照他的說法，「喜歡科研的人都喜歡面對挑戰(zhàn)。」

所以，2016年，姚新選擇回國。當年年，南科大就設立了計算機科學與工程系，開始招生，如今已培養(yǎng)出數(shù)批計算機專業(yè)的本科畢業(yè)生。他一邊授課，一邊帶領學生從事演化計算與可信AI的科研，在演化計算與神經(jīng)網(wǎng)絡的結合上繼續(xù)研究。雷峰網(wǎng)(公眾號：雷峰網(wǎng))

作為國內研究演化計算的先行者之一，姚新在科研上嚴格遵循李國杰院士的四字信條——「頂天立地」。另一方面，他也十分推崇博士后導師Richard Brent的獨立科研精神，鼓勵年輕學者做自己感興趣的研究，獨辟蹊徑。雷鋒網(wǎng)

從上世紀90年代末起，姚新便開始從事演化計算與神經(jīng)網(wǎng)絡的結合研究，遠早于深度學習的興起之時，曾因此工作獲得2001年的 IEEE Donald G. Fink Prize Paper Award。那么，在深度學習如此火熱的當下，演化計算是否還能給人工智能帶來新的啟發(fā)？亦或者，在人工智能領域，演化計算如何找到自己在新時代的位置？雷峰網(wǎng)

靜待2021年12月17日CNCC分論壇「演化計算的下一代發(fā)展趨勢」。

參考鏈接：

1、https://weightagnostic.github.io/papers/turing1948.pdf

2、https://wenku.baidu.com/view/13713b7ba26925c52cc5bfd0.html

3、https://www.alanzucconi.com/2016/04/06/evolutionary-coputation-1/

4、https://ti.arc.nasa.gov/m/pub-archive/1417h/1417%20(Hornby).pdf

5、https://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.493.6049&rep=rep1&type=pdf

6、https://www.cnblogs.com/tsingke/p/11252203.html

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉載。詳情見轉載須知。