雷鋒網(wǎng) AI 科技評論按，日前，在由上海財經(jīng)大學(xué)交叉科學(xué)研究院（RIIS）主辦，杉數(shù)科技有限公司協(xié)辦的「現(xiàn)代運籌學(xué)發(fā)展討論會」上，騰訊 AI Lab（騰訊人工智能實驗室）主任張潼博士發(fā)表了精彩演說。作為機器學(xué)習(xí)領(lǐng)域的知名學(xué)者，他開場表示，機器學(xué)習(xí)和運籌優(yōu)化有很多的共同問題。接下來，他詳細介紹了機器學(xué)習(xí)領(lǐng)域中優(yōu)化的進展，以及大家比較感興趣的研究課題。在演講的最后，他表示，運籌優(yōu)化的研究人員可以和機器學(xué)習(xí)研究人員多多交流，大家共同合作，共同促進。

以下為他的發(fā)言內(nèi)容，雷鋒網(wǎng) AI 科技評論做了不改變原意的編輯整理，張潼博士對此文做了校正與確認，同時也感謝上財助理教授鄧琪博士對本文提出的寶貴意見。

很感謝葛冬冬邀請我過來，今天是葉蔭宇老師的生日，非常高興能在這里與大家進行探討。我的主要研究方向是機器學(xué)習(xí)，現(xiàn)在機器學(xué)習(xí)領(lǐng)域存在很多的優(yōu)化問題，目前來講，有些優(yōu)化的研究可能是機器學(xué)習(xí)領(lǐng)域自己在推動，我將為大家介紹這方面的研究進展，也希望大家以后能更好的去合作，推動發(fā)展。

機器學(xué)習(xí)里的優(yōu)化相對比較窄，這其中考慮的問題主要是跟數(shù)據(jù)有關(guān)。主要有如下三種數(shù)據(jù)：

• 第一種是統(tǒng)計分布上獨立的數(shù)據(jù)，這種問題有一個求和或者求期望的結(jié)構(gòu)，監(jiān)督學(xué)習(xí)和非監(jiān)督學(xué)習(xí)里都存在這種結(jié)構(gòu)。

• 第二種是類似于 graphical model （圖模型）的數(shù)據(jù)，在這里我們比較關(guān)心 graph（圖）的結(jié)構(gòu)，這種數(shù)據(jù)中也存在較多的求和結(jié)構(gòu)。

• 第三種是序列數(shù)據(jù)，在這種數(shù)據(jù)中，最根本的結(jié)構(gòu)還是求和。

因為很多問題是以統(tǒng)計期望的形式表達，所以隨機優(yōu)化是大家比較感興趣的研究方向。

隨機優(yōu)化在五六十年代就出現(xiàn)了，它屬于傳統(tǒng)優(yōu)化的范疇。目前有一些與隨機優(yōu)化相關(guān)的書籍，也有專門的科研人員在進行這方面的研究。

實際上，在機器學(xué)習(xí)領(lǐng)域，大家用的也基本上是隨機優(yōu)化，很少有人用確定性優(yōu)化。此外，最近的一些進展利用 variance reduction 證明了隨機優(yōu)化存在著更好的收斂率，這也是大家使用隨機優(yōu)化的原因之一。

現(xiàn)在我先為大家介紹一階隨機優(yōu)化，這一領(lǐng)域的相關(guān)研究比較多。目前在這一領(lǐng)域，大家比較感興趣的方向可能是非凸優(yōu)化。最近有很多計算機理論學(xué)家在做非凸優(yōu)化方面的研究，不過我還沒見到做優(yōu)化的人在這一領(lǐng)域進行研究。非凸優(yōu)化中之前大家引用得比較多的是 Nesterov 寫的 cubic 牛頓法，這個工作基于牛頓法，在非凸情況下取得了一些很好的成果?，F(xiàn)在，一些研究人員以 cubic 牛頓法作為基礎(chǔ)，但研究得更加深入了。

另一塊大家可能研究的方向是二階或三階優(yōu)化，這也跟隨機有關(guān)，這里的研究包括怎么去做一些特殊設(shè)計的采樣過程。這一塊主要是機器學(xué)習(xí)領(lǐng)域在進行研究，但我知道目前也有一些做優(yōu)化的人參與進來了。

還有一塊大家可能比較感興趣的研究跟加速有關(guān)。這一領(lǐng)域比較早的研究方法有 momentum 算法，Heavy Ball 優(yōu)化算法，后來 Nesterov 在凸優(yōu)化問題中嚴格分析過的加速算法?，F(xiàn)在大家感興趣的可能是非凸問題上的加速。如何在非凸情況下做加速？最近也有一些相關(guān)文獻。實際上，在非凸情況下做不了加速，但最新的文章表明，在執(zhí)行算法過程中，我們可以檢測凸性，一旦遇到凸性情況，就立即轉(zhuǎn)換。

當(dāng)大家在用 momentum 方法時，條件不合適的情況下應(yīng)該怎么去做？這里可能更偏理論。momentum 法在實際中也有應(yīng)用，深度學(xué)習(xí)里的 Adam 算法就用到了它的思想，同時也用了其他一些 scaling 的方式。

此外，在加速問題上，還有一個我個人比較感興趣的研究問題。加速本身是確定性的，在隨機優(yōu)化上用起來不是很好。隨機上只能通過加速增加 mini-batch 規(guī)模，所以大家也在研究如何在隨機上更好地去加速，不過這個問題在隨機的 mini-batch 算法下到現(xiàn)在都沒什么特別好的結(jié)果。一些人可能知道，把加速方法和隨機算法疊加起來提升收斂速度，中間要經(jīng)過一個過程，這個過程需要用一個 deterministic 形式 作為轉(zhuǎn)換才行。這里是不是有更好的方式，現(xiàn)在我也不是很確定。

大家也對一些特殊結(jié)構(gòu)比較感興趣，比如說復(fù)合損失函數(shù)和 proximal 結(jié)構(gòu)（比如稀疏和低秩）。非凸問題中對特殊結(jié)構(gòu)的研究相對來說比凸問題中少一點。

還有一塊大家感興趣的就是超參數(shù)的優(yōu)化，這塊的研究實際上更加復(fù)雜。最近 learning to optimize （學(xué)習(xí)優(yōu)化）這個研究就與超參數(shù)優(yōu)化有關(guān)，即優(yōu)化過程不是你自己推導(dǎo)出來的，是機器學(xué)習(xí)學(xué)出來的，這也比較有意思。這套方法目前還很初級，大家可以這么考慮這個問題——已經(jīng)有人用機器學(xué)習(xí)來設(shè)計優(yōu)化算法了。這里的研究更偏實踐，因為如果要做分析會比較困難。與此相關(guān)的是隨機 bandit 算法。在優(yōu)化里也存在這種算法，和無導(dǎo)數(shù)優(yōu)化相關(guān)，即優(yōu)化過程中不見得用導(dǎo)數(shù)去做，這在很多實際問題的系統(tǒng)調(diào)參里是非常有用的。

前面是一系列與單核優(yōu)化相關(guān)的研究。另外一塊大家感興趣的方向是大規(guī)模分布式和多核優(yōu)化。即使到現(xiàn)在，很多優(yōu)化軟件包還沒有多核的支持。

在這里，第一步可能要做多核計算，第二步要做分布式計算，這是實際上的需求。另外一方面，從理論上來說，大家比較感興趣的是通信和計算的平衡，即在這種結(jié)構(gòu)里，如果有不同的計算單元，在執(zhí)行算法的過程中需要進行信息的交換，信息交換了多少，計算時間有多少，以及如何去平衡。這里存在很多相關(guān)研究，其中有同步的，也有異步的。大家實際上可能或多或少都會用到異步，目前也有一系列與異步分布式優(yōu)化相關(guān)的研究。此外，現(xiàn)在有些人開始感興趣的是去中心優(yōu)化和低精度優(yōu)化（比如用低精度傳輸導(dǎo)數(shù)），這些方法甚至可以和今后新的低精度硬件結(jié)合。這里有另一部分跟芯片相結(jié)合的研究是模型壓縮，這也是和優(yōu)化相關(guān)的研究范疇。

另外還有一個方向就是以實用為導(dǎo)向的非凸優(yōu)化算法研究。非凸優(yōu)化其實除了解決深度神經(jīng)網(wǎng)絡(luò)中的問題，還能解決別的一些問題，不過大家可能比較關(guān)心的就是深度神經(jīng)網(wǎng)絡(luò)問題。很多研究人員會做出一些有效的但沒有太多理論基礎(chǔ)的 heuristic 算法，包括 batch normalization 算法。另外還有類似 Adam 的算法，在實用上也很流行。它是把兩個凸優(yōu)化的想法結(jié)合在了一起：將 momentum 優(yōu)化算法與 Adaptive Gradient 結(jié)合，再做一些參數(shù)調(diào)整。

另外在理論上，最近也有一些進展。最近有一些年輕的華裔科學(xué)家在這一領(lǐng)域做了一些比較前沿的研究，比如說研究怎么去優(yōu)化逃出鞍點，他們最后得出了一個局部最優(yōu)解。

現(xiàn)在很多是理論上的工作，比如說對收斂復(fù)雜度的研究，把 ε 的負 2 次方變成 ε 的負 1.5 次方、負 1.25 次方等。雖然這些算法目前看起來可能都不太實用，但是在理論上取得了一些進步。我們可以研究這些方法到底能夠走得有多快，之后慢慢將它們變得實用化。

另外一塊大家感興趣的研究是算法在一些非凸問題上的全局最優(yōu)收斂性，在這里需要一些結(jié)構(gòu)信息。目前的研究在某些問題上取得了一些結(jié)論。有些是優(yōu)化算法，但有些可能把算法改變了，用了其他的結(jié)構(gòu)。

還有一塊新的大家比較感興趣的研究領(lǐng)域，是 saddle point 問題。我個人對這個問題也感興趣，我研究過相關(guān)文獻。目前在優(yōu)化上，對這一領(lǐng)域的研究不算太多?，F(xiàn)在比較好做的是凸，凹問題，以及對變量是線性，primal 和 dual 之間是 bilinear 作用關(guān)系的問題。在這些問題上，現(xiàn)在有了一些成果，包括機器學(xué)習(xí)領(lǐng)域現(xiàn)在也開始進行這方面的研究了。如果不是 bilinear 的，情況相對來說會更難一些，有些結(jié)論就不好推廣了。目前，在非凸情況下，或者不是凸，凹的情況下，這一塊的結(jié)果非常少，連收斂性都沒有好的一般性的結(jié)果，很多問題能收斂到什么地步我們也不是很清楚。

從實際上來看，確實會存在這種問題，比如說強化學(xué)習(xí)的某些形式可以寫成一個鞍點問題。包括其他的一些生成模型，例如生成對抗網(wǎng)絡(luò)，都會出現(xiàn)這種形式，既不是凸的，也不是凹的，但它有一些特殊結(jié)構(gòu)，所以有些對它感興趣的人會進行專門的研究。而強化學(xué)習(xí)本身也是跟優(yōu)化聯(lián)系比較緊密的方向，它也跟運籌學(xué)研究的馬爾科夫決策過程緊密相關(guān)。目前這個方向是研究熱點，有越來越多的結(jié)果出現(xiàn)。

雖然機器學(xué)習(xí)領(lǐng)域的問題比較窄，很多傳統(tǒng)優(yōu)化問題都不屬于機器學(xué)習(xí)的研究范疇，但就像我前面說的，這里面也有很多有意思的問題，它們和優(yōu)化緊密相連 。機器學(xué)習(xí)領(lǐng)域在這些問題上鉆研的相對比較深，常常做出了超出優(yōu)化領(lǐng)域本身的一些理論工作。

希望到時候和大家能多多交流，如果大家感興趣，可以參與進來，共同研究。

雷鋒網(wǎng) AI 科技評論編輯整理。

（完）

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。