雷鋒網(wǎng) AI 科技評論按，日前，在中國運籌學會的閉門會議——現(xiàn)代運籌學發(fā)展討論會上，馮?諾依曼理論獎得主、斯坦福大學管理科學與工程系教授，杉數(shù)科技奠基人葉蔭宇老師發(fā)表了精彩的演說。

葉蔭宇：斯坦福大學李國鼎工程講席教授，管理科學與工程系工業(yè)聯(lián)盟計劃主任，從事最優(yōu)化、運籌學、供應(yīng)鏈方法、傳感器網(wǎng)絡(luò)、市場平衡與價格、數(shù)據(jù)與計算等方向的研究。他是運籌管理學領(lǐng)域最高獎項——馮·諾依曼理論獎的唯一一位華人得主，國際最知名的運籌學專家之一。

葉蔭宇教授先是介紹了自己最近做的一些研究工作，提到了運籌優(yōu)化與目前大熱的領(lǐng)域如 machine learning、deep learning 互相結(jié)合的點。他表示：「優(yōu)化要結(jié)合實際來解決問題，也不一定是局限于哪一個領(lǐng)域，比如傳統(tǒng)的計算機領(lǐng)域、統(tǒng)計或者是其他領(lǐng)域。」

在演講結(jié)束之后，他對現(xiàn)場的提問進行了精彩的回答，比如說如何一直保持旺盛的精力來進行科學研究，如何進行有品位的研究。

在最后，他也對中國運籌學的發(fā)展提出了自己的看法：一，不要固步自封，要時刻保持新思路、新想法；二，要做點實際的事，而不是只沉迷于紙上的研究。

以下為他的演講內(nèi)容，雷鋒網(wǎng) AI 科技評論做了不改變原意的編輯整理。

最近的一些研究工作

說下我最近做的一些工作，以及其中有可能跟 machine learning、deep learning 有關(guān)系的點。

眾所周知 policy iteration 這個算法一直工作得非常好，在MDP（馬爾科夫決策問題）中幾乎都是用這套方法?？上Т蠹乙恢辈恢肋@個算法在理論上到底好不好，但是我們證明了在理論上它就是好的，而且收斂速度是線性的。這是 OR（運籌學）中間的結(jié)果，也是傳統(tǒng) OR 的問題，但是在 machine learning 中情況會有不同。最近我們做了一些 value iteration 的工作，主要解決的問題是 sample complexity（樣本復雜度）。具體來說，傳統(tǒng)的 value iteration 算法需要知道所有的狀態(tài)轉(zhuǎn)移概率，對 information 的要求很高。而我們的算法會對轉(zhuǎn)移概率進行采樣，不需要用全部的信息，而且依然保留了較好的理論性質(zhì)。

其實最近炒得比較火的 AlphaGo Zero，它也是個 stochastic game（隨機博弈），即在馬爾科夫決策過程中，有部分決策者是想把它 maximize（最大化），有部分決策者是想把它 minimize（最小化）。在 stochastic game 中有一個跟 policy iteration method 比較相像的方法叫 strategy iteration method。很多人說我不要訓練集就可以把 AlphaGo Zero 訓練好，其實完全是可以理解的，因為你完全可以自己去 sample 產(chǎn)生訓練集。這個一點不奇怪，所以可能做 machine learning 的人可以注意一下這一點。

非凸優(yōu)化問題

再另外一個我想講講非凸的問題，我們最近也研究了很多非凸問題。像 machine learning、deep learning 就是利用梯度法去解一些非凸問題找到比較好的解。其實我們在 1996 年已經(jīng)有研究帶約束的二次規(guī)劃。在優(yōu)化理論中間有所謂的一階條件，也有二階條件，二階有充分條件，也有必要條件。我們可以證明很多很多的算法收斂到的解是滿足二階最優(yōu)條件的。對于非正交規(guī)劃，我個人覺得找起始點非常重要。我不熟悉 machine learning、deep learning 里所謂的 tune up 這些東西，我覺得在某種意義上來說，很多工作也在找起始點。

我以前在通信領(lǐng)域，或者是物聯(lián)網(wǎng)領(lǐng)域解一些問題。例如知道某兩點之間的距離，能不能反過來把位置信息找出來，這實際上是一個非常非凸的問題。我個人認為，有一個解這些非凸優(yōu)化非常好的方法，就是能不能找到一些所謂的 convex relaxation（凸松弛）。很多非凸問題肯定都是找到了一些 convex relaxation，通過 convex relaxation 找到一個解，說不定就是原問題的最優(yōu)解。

我發(fā)現(xiàn)我們在很多問題上解得很好。我們最近在幫美國一個系統(tǒng)解流體管道的壓力最優(yōu)化問題，針對他們的水管道石油管道等等。它的決策變量其實就是壓力，然后再就是流量。大家知道電流里面我們有歐姆定律；流體力學就是相當于壓力差等于阻力乘以流體的平方。歐姆定律是線性的，盡管壓力是變量，流量也是變量，但它是線性關(guān)系，流體力學就不是線性關(guān)系，壓力差，HI 減去 HJ 等于電阻，電阻是跟管道的直徑有關(guān)聯(lián)，等于 Q 乘以 R 的平方。這個等式中，因為 Q 是變量，壓力也是變量，那么肯定就不是凸的了。這邊是二次，那邊是線性，那么是不是線性項大于等于 Q 的平方就可以了。因為 Q 的平方是一個凸函數(shù)，小于某個線性函數(shù)，如果我們能最終找到一個點，然后反過來再用梯度法來算，就可以最終求解。一個城市管道他們以前幾天算不了的問題，現(xiàn)在幾分鐘就可以算出來。

找到一個好的起始點，所以我說我們能不能搞 smart tuning。我知道搞 deep learning 的人通?；◣讉€月去 tune 那些東西，也得到了很好的結(jié)果，但實際上花了很多人力和時間。

我個人認為現(xiàn)在優(yōu)化的方向，是必須跟一些數(shù)據(jù)結(jié)合起來。反過來，應(yīng)該也想想這些 machine learning 中一些比較流行的方法對優(yōu)化有什么幫助，例如一些 ADMM 算法怎么更快地解傳統(tǒng)的優(yōu)化問題。

將 robustness 引進到 learning 里

我今天早上的講座關(guān)于是怎么把 robustness 引進到 learning 里。這個在我們 optimization 里面已經(jīng)有了 10-20 年的歷史了。我最近看到的一些學術(shù)論文說，其中有些 learning 的算法對于一些 attack、noise 比較 vulnerable。我今天早上講，一個熊貓的圖像，稍微加一點 noise，我們?nèi)搜劭磥磉€像熊貓，但是機器學習的算法會識別出它是一個猴子。

現(xiàn)在關(guān)于 AI 有一種看法，說它是一種不太嚴格的科學，甚至有人說它是煉金術(shù)，我倒不至于同意這種說法，倒覺得它更像我們的中醫(yī)，即沒有很多的科學證明，但是長期的經(jīng)驗證明還是有效的。中醫(yī)經(jīng)常有人說，這個病人治好了，這個病人也好了。我覺得機器學習的算法如果能夠把 robustness 再提高一點，那么大家就可以放心大膽地使用了。

我覺得如果本來就沒有嚴格的科學依據(jù)，比如說你送飛船上去，到底是用 physical 上的流體力學，以科學的方法來設(shè)計軌道，還是用 machine learning 來 design 這個軌道，我想大家目前還是比較相信用嚴格的數(shù)學方法來 design 這個軌道。但是到了一定的時候，沒有 physical 的東西來 design 軌道，但 machine learning、deep learning 已經(jīng)到了某一個可以 trust 的地步的話，我覺得這個時候就可以用了。另外，這個里面必須引進一些所謂 robustness，如果太 vulnerable，那人家稍微破壞一點，給你搞亂一下，馬上學習結(jié)果就錯了。我覺得我們 make decision 的時候，必須要非常小心，必須要能 trust。

這個時候，例如找最短路徑時，原來那些基于線性規(guī)劃的方法，在某些問題上，已經(jīng)有成條的理論。不過同樣也可以用 machine learning 找最短路徑。我覺得可以加一些 robustness 在里面，這個方面在優(yōu)化里面已經(jīng)研究得很成熟了。其實它跟正則化又有關(guān)系，實際上算法復雜性不會增加，就是在 objective function 里面稍微加一點抗干擾因素。我們系里面也有一些學生在做。我的學生最近也在自己開發(fā)一些解大型非凸優(yōu)化問題的算法，寫一個 open source 庫。他們那些方法不太實用，完全是理論性的，我倒是希望找到一些比較實用的方法，我比較喜歡做一些工具，沒有什么理論基礎(chǔ)，但是我會想辦法。比如說 policy iteration method，實際中有些問題幾乎比內(nèi)點法好多了，很多年前就能夠從理論上說明了，目前跟 AI 也是有關(guān)系的。我覺得既然工作得這么好，它一定有點道理。

我覺得我們優(yōu)化要結(jié)合實際來解決問題，也不一定是局限于哪一個領(lǐng)域，比如傳統(tǒng)的計算機領(lǐng)域、統(tǒng)計或者是其他領(lǐng)域。

問答環(huán)節(jié)

問：我想請教一下葉老師一個看法，在優(yōu)化里面，boundary 一直在變，如果是線性的方式容易，非線性的就難了，后來發(fā)現(xiàn)這不對，是 convex、nonconvex，現(xiàn)在發(fā)現(xiàn)又不對了，nonconvex 有時候也還是容易的，但是有些 nonconvex 問題又不行，您覺得下面這個可能會怎么樣。

答：我個人倒沒有從這個方面來看，我現(xiàn)在發(fā)現(xiàn) machine learning 中的一些問題和 deep learning 中，以及我們優(yōu)化中的問題有一個不同的地方，就是很多的問題都是沒有約束的。然后通常優(yōu)化中如果這個問題沒有約束，就可以用梯度法、牛頓法、擬牛頓法等進行求解。從優(yōu)化角度來說，好像不是那么具有挑戰(zhàn)性。我覺得長期以來 deep learning 的問題忽略了約束，而這一點正反映了 deep learning 的問題多把它當成是一個 black box，我的參數(shù)是沒有什么物理背景，正負、無窮大、零，都沒有關(guān)系。但是我覺得有一點，就是在我們學習的時候，如果參數(shù)有一定的物理背景，我們應(yīng)該引進它的基本的機理，還要讓他 obey 一些 basic science rule。比如說流體力學的 rule，你必須把那個條件加進去，作為約束放進去。但是有一點我不知道，像這種解的比較好的非約束的算法，怎么能夠解到約束上面去?；蛘?deep learning 的很多模型，是不是也應(yīng)該要加一些簡單的 science base。

對于所有的線性規(guī)劃，我們總是要評內(nèi)點法好，還是單純形法好，其實現(xiàn)在看來這個沒有什么意義。我覺得所有的算法都要把它定制化，定制到什么樣的結(jié)構(gòu)上，你才能說哪一個是最好的。

剛才有人問我，machine learning 對優(yōu)化算法有沒有什么幫助，我說肯定有幫助，就是把優(yōu)化算法的定制化。你根據(jù)問題的不同結(jié)構(gòu)、不同特點，在所有的優(yōu)化函數(shù)中找一個對他最實用的。這個方法可能人學不出來，只能通過大量的數(shù)據(jù)學出來。而且我覺得特別解非凸問題等，對于不同的問題，最好的解的方法不一樣。能不能用 machine learning，根據(jù)這些問題的特點，找一個對癥下藥的方法，然后這樣我倒覺得對我們優(yōu)化算法很有幫助。哪怕就是解整數(shù)線性規(guī)劃，不同方法的計算量差別也會很大。比如說解二次規(guī)劃的問題，到底是用二階錐規(guī)劃好，還是原來的凸規(guī)劃好，這個差別會很大的。

我覺得優(yōu)化算法對不同問題的定制化這應(yīng)該是一個方向，包括怎么樣定制，參數(shù)怎么寫，解線性規(guī)劃。我們也調(diào)參數(shù)，不調(diào)不行，有的對這個問題好，對那個問題不好，這里你很難調(diào)到一個配方，對所有的算法都好。所以這個本身就是一個定制化的問題。

問：葉老師在我們心目中是大神，剛才有人提到，葉老師精力特別旺盛，我有個很自然的問題，您是怎么做到的？您有什么秘訣。

答：你們當老師的一定要鼓勵學生熱愛體育，我以前搞田徑，我現(xiàn)在快 70 歲了，我 1965 年的時候，是全國中學生的跳高冠軍，三級跳也是冠軍，跳遠拿的是第幾名我忘記了。當時沒有全國運動會，就是各個省自己開運動會，然后把成績報到全國進行匯總，進行排名。這個成績還是在那里，我們當初跳高是剪式跳高，當時不像現(xiàn)在這樣。總結(jié)起來，我的意思就是說，要熱愛體育。

問：您為什么能夠在這么多領(lǐng)域里面，做出這么多有品味的研究，在這方面有什么分享？

答：我個人認為，自己只是江湖中的一個小角色。我做研究就是喜歡想。我不知道你們是不是非要寫在紙上，我通常把問題想通，我自己喜歡想一環(huán)一環(huán)的問題。其實我下棋下得不好，我想這些問題的思路我覺得應(yīng)該可以證明出來，其實不用紙寫出來我覺得應(yīng)該就可以了。然后我就告訴學生這個問題應(yīng)該過得去，比如現(xiàn)在我的學生做的這些東西。主要是想這個問題的關(guān)鍵，如果能夠推過去，推導的關(guān)鍵在什么地方，你把關(guān)鍵想通了，就沒有什么問題了。然后就是這樣先想，再寫。再就是自己要有一個品位，我覺得小打小鬧，有些人開始可以搞一點，但是到了一定的時候就不能這樣了。

我比較容易看出學生的一些特長，是搞組合比較好，還是分析隨機算法很好，例如線性方程解得蠻漂亮等。我始終認為，其實在運籌學中間的一些問題，不一定要運用到非常高深的數(shù)學，有些算法是非常基本的。找到證明的方向，比用到證明的方法更重要。方向找對了，證明非常的簡單，就是線性代數(shù)，加上一些馬爾科夫等，分析一下基本上就過去了。所以這些我覺得還是要有個 sense，這個方向?qū)Σ粚?，一步一步走過來，這是我的一點體會。然后再就是對學生，因人而異，找到比較切合他的點，觀察他比較擅長什么。

我有個習慣，其實我很喜歡看電視劇，我太太也說我，在電視前一天看兩、三個小時電視劇。其實我看電視節(jié)目都在想問題，我可以同時 enjoy 這些電視劇，比如《人民的名義》等，我自己也有很多問題是在那個時候想出來的，可以同時進行。

問：您在斯坦福工作也會關(guān)注國內(nèi)的運籌學，在您看來，我們中國的運籌優(yōu)化發(fā)展，怎么樣往前走一大步？您能提點見解嗎？

答：現(xiàn)在很多搞統(tǒng)計、machine learning、計算機等的優(yōu)秀的人才都回來了，對于運籌學，我個人有一點感覺，我們把自己封閉起來了。再加上國內(nèi)大環(huán)境也比較強調(diào)管理，這個在學科內(nèi)屬于運籌控制等，我覺得現(xiàn)在我們一定要打破這個 boundary，包括在斯坦福等很多地方，學術(shù)研究很多方面都沒有 boundary，只要有興趣的問題，大家都可以去做研究。

第一，搞優(yōu)化的時候，我們運籌學會要不被潮流 left out，現(xiàn)在 AI、machine learning、計算機蓬勃發(fā)展，我們要跟上潮流，比如關(guān)注 machine learning 中的優(yōu)化問題。另外，我們能不能提供新的思路、新的方法，更好地幫助他們解決問題，這點很重要，我們一定要跟他們結(jié)合起來。

第二，還是要針對實體的經(jīng)濟，對比較大的公司，不管是前面發(fā)言的華為，還是其他 BAT 這樣的公司，都要有用。這一點是非常不容易的，不光靠學術(shù)。可能是我年紀大了，反而覺得覺得光紙上談兵不行，必須對實際有意義。中國運籌學，長期還是得將學術(shù)研究與深層的應(yīng)用結(jié)合起來，想一些東西。再深層意義上，我覺得老師到一定的年齡，還是需要考慮到這一點：現(xiàn)在各個公司的研發(fā)力量都很強，包括 BAT 等，他們現(xiàn)在自己內(nèi)部都有很多搞統(tǒng)計、計算機的，所以老師們可以去稍微指導一下，說一說，提供一些最新的信息。

我還是擔心運籌學長期干我們之前的那些事，比較封閉。另外，我倒非常希望看到有些東西，比如將原有算法和新的 deep learning 算法比較，我非常期望看到，到底是結(jié)合的好，還是 AI 的好，還是運籌搞的這些基礎(chǔ)的比較好。這些很有意思，都是需要去試的。

一個是 OR 要走出去，不要孤芳自賞；第二就是要做點實際的事。這是我個人的看法。

（完）

雷鋒網(wǎng) AI科技評論編輯整理。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。