雷鋒網(wǎng) AI 科技評(píng)論按，日前，在由上海財(cái)經(jīng)大學(xué)交叉科學(xué)研究院（RIIS）主辦，杉數(shù)科技有限公司協(xié)辦的「現(xiàn)代運(yùn)籌學(xué)發(fā)展討論會(huì)」上，騰訊 AI Lab（騰訊人工智能實(shí)驗(yàn)室）主任張潼博士發(fā)表了精彩演說(shuō)。作為機(jī)器學(xué)習(xí)領(lǐng)域的知名學(xué)者，他開場(chǎng)表示，機(jī)器學(xué)習(xí)和運(yùn)籌優(yōu)化有很多的共同問(wèn)題。接下來(lái)，他詳細(xì)介紹了機(jī)器學(xué)習(xí)領(lǐng)域中優(yōu)化的進(jìn)展，以及大家比較感興趣的研究課題。在演講的最后，他表示，運(yùn)籌優(yōu)化的研究人員可以和機(jī)器學(xué)習(xí)研究人員多多交流，大家共同合作，共同促進(jìn)。

以下為他的發(fā)言內(nèi)容，雷鋒網(wǎng) AI 科技評(píng)論做了不改變?cè)獾木庉嬚恚瑥堜┦繉?duì)此文做了校正與確認(rèn)，同時(shí)也感謝上財(cái)助理教授鄧琪博士對(duì)本文提出的寶貴意見。

很感謝葛冬冬邀請(qǐng)我過(guò)來(lái)，今天是葉蔭宇老師的生日，非常高興能在這里與大家進(jìn)行探討。我的主要研究方向是機(jī)器學(xué)習(xí)，現(xiàn)在機(jī)器學(xué)習(xí)領(lǐng)域存在很多的優(yōu)化問(wèn)題，目前來(lái)講，有些優(yōu)化的研究可能是機(jī)器學(xué)習(xí)領(lǐng)域自己在推動(dòng)，我將為大家介紹這方面的研究進(jìn)展，也希望大家以后能更好的去合作，推動(dòng)發(fā)展。

機(jī)器學(xué)習(xí)里的優(yōu)化相對(duì)比較窄，這其中考慮的問(wèn)題主要是跟數(shù)據(jù)有關(guān)。主要有如下三種數(shù)據(jù)：

• 第一種是統(tǒng)計(jì)分布上獨(dú)立的數(shù)據(jù)，這種問(wèn)題有一個(gè)求和或者求期望的結(jié)構(gòu)，監(jiān)督學(xué)習(xí)和非監(jiān)督學(xué)習(xí)里都存在這種結(jié)構(gòu)。

• 第二種是類似于 graphical model （圖模型）的數(shù)據(jù)，在這里我們比較關(guān)心 graph（圖）的結(jié)構(gòu)，這種數(shù)據(jù)中也存在較多的求和結(jié)構(gòu)。

• 第三種是序列數(shù)據(jù)，在這種數(shù)據(jù)中，最根本的結(jié)構(gòu)還是求和。

因?yàn)楹芏鄦?wèn)題是以統(tǒng)計(jì)期望的形式表達(dá)，所以隨機(jī)優(yōu)化是大家比較感興趣的研究方向。

隨機(jī)優(yōu)化在五六十年代就出現(xiàn)了，它屬于傳統(tǒng)優(yōu)化的范疇。目前有一些與隨機(jī)優(yōu)化相關(guān)的書籍，也有專門的科研人員在進(jìn)行這方面的研究。

實(shí)際上，在機(jī)器學(xué)習(xí)領(lǐng)域，大家用的也基本上是隨機(jī)優(yōu)化，很少有人用確定性優(yōu)化。此外，最近的一些進(jìn)展利用 variance reduction 證明了隨機(jī)優(yōu)化存在著更好的收斂率，這也是大家使用隨機(jī)優(yōu)化的原因之一。

現(xiàn)在我先為大家介紹一階隨機(jī)優(yōu)化，這一領(lǐng)域的相關(guān)研究比較多。目前在這一領(lǐng)域，大家比較感興趣的方向可能是非凸優(yōu)化。最近有很多計(jì)算機(jī)理論學(xué)家在做非凸優(yōu)化方面的研究，不過(guò)我還沒(méi)見到做優(yōu)化的人在這一領(lǐng)域進(jìn)行研究。非凸優(yōu)化中之前大家引用得比較多的是 Nesterov 寫的 cubic 牛頓法，這個(gè)工作基于牛頓法，在非凸情況下取得了一些很好的成果?，F(xiàn)在，一些研究人員以 cubic 牛頓法作為基礎(chǔ)，但研究得更加深入了。

另一塊大家可能研究的方向是二階或三階優(yōu)化，這也跟隨機(jī)有關(guān)，這里的研究包括怎么去做一些特殊設(shè)計(jì)的采樣過(guò)程。這一塊主要是機(jī)器學(xué)習(xí)領(lǐng)域在進(jìn)行研究，但我知道目前也有一些做優(yōu)化的人參與進(jìn)來(lái)了。

還有一塊大家可能比較感興趣的研究跟加速有關(guān)。這一領(lǐng)域比較早的研究方法有 momentum 算法，Heavy Ball 優(yōu)化算法，后來(lái) Nesterov 在凸優(yōu)化問(wèn)題中嚴(yán)格分析過(guò)的加速算法?，F(xiàn)在大家感興趣的可能是非凸問(wèn)題上的加速。如何在非凸情況下做加速？最近也有一些相關(guān)文獻(xiàn)。實(shí)際上，在非凸情況下做不了加速，但最新的文章表明，在執(zhí)行算法過(guò)程中，我們可以檢測(cè)凸性，一旦遇到凸性情況，就立即轉(zhuǎn)換。

當(dāng)大家在用 momentum 方法時(shí)，條件不合適的情況下應(yīng)該怎么去做？這里可能更偏理論。momentum 法在實(shí)際中也有應(yīng)用，深度學(xué)習(xí)里的 Adam 算法就用到了它的思想，同時(shí)也用了其他一些 scaling 的方式。

此外，在加速問(wèn)題上，還有一個(gè)我個(gè)人比較感興趣的研究問(wèn)題。加速本身是確定性的，在隨機(jī)優(yōu)化上用起來(lái)不是很好。隨機(jī)上只能通過(guò)加速增加 mini-batch 規(guī)模，所以大家也在研究如何在隨機(jī)上更好地去加速，不過(guò)這個(gè)問(wèn)題在隨機(jī)的 mini-batch 算法下到現(xiàn)在都沒(méi)什么特別好的結(jié)果。一些人可能知道，把加速方法和隨機(jī)算法疊加起來(lái)提升收斂速度，中間要經(jīng)過(guò)一個(gè)過(guò)程，這個(gè)過(guò)程需要用一個(gè) deterministic 形式 作為轉(zhuǎn)換才行。這里是不是有更好的方式，現(xiàn)在我也不是很確定。

大家也對(duì)一些特殊結(jié)構(gòu)比較感興趣，比如說(shuō)復(fù)合損失函數(shù)和 proximal 結(jié)構(gòu)（比如稀疏和低秩）。非凸問(wèn)題中對(duì)特殊結(jié)構(gòu)的研究相對(duì)來(lái)說(shuō)比凸問(wèn)題中少一點(diǎn)。

還有一塊大家感興趣的就是超參數(shù)的優(yōu)化，這塊的研究實(shí)際上更加復(fù)雜。最近 learning to optimize （學(xué)習(xí)優(yōu)化）這個(gè)研究就與超參數(shù)優(yōu)化有關(guān)，即優(yōu)化過(guò)程不是你自己推導(dǎo)出來(lái)的，是機(jī)器學(xué)習(xí)學(xué)出來(lái)的，這也比較有意思。這套方法目前還很初級(jí)，大家可以這么考慮這個(gè)問(wèn)題——已經(jīng)有人用機(jī)器學(xué)習(xí)來(lái)設(shè)計(jì)優(yōu)化算法了。這里的研究更偏實(shí)踐，因?yàn)槿绻龇治鰰?huì)比較困難。與此相關(guān)的是隨機(jī) bandit 算法。在優(yōu)化里也存在這種算法，和無(wú)導(dǎo)數(shù)優(yōu)化相關(guān)，即優(yōu)化過(guò)程中不見得用導(dǎo)數(shù)去做，這在很多實(shí)際問(wèn)題的系統(tǒng)調(diào)參里是非常有用的。

前面是一系列與單核優(yōu)化相關(guān)的研究。另外一塊大家感興趣的方向是大規(guī)模分布式和多核優(yōu)化。即使到現(xiàn)在，很多優(yōu)化軟件包還沒(méi)有多核的支持。

在這里，第一步可能要做多核計(jì)算，第二步要做分布式計(jì)算，這是實(shí)際上的需求。另外一方面，從理論上來(lái)說(shuō)，大家比較感興趣的是通信和計(jì)算的平衡，即在這種結(jié)構(gòu)里，如果有不同的計(jì)算單元，在執(zhí)行算法的過(guò)程中需要進(jìn)行信息的交換，信息交換了多少，計(jì)算時(shí)間有多少，以及如何去平衡。這里存在很多相關(guān)研究，其中有同步的，也有異步的。大家實(shí)際上可能或多或少都會(huì)用到異步，目前也有一系列與異步分布式優(yōu)化相關(guān)的研究。此外，現(xiàn)在有些人開始感興趣的是去中心優(yōu)化和低精度優(yōu)化（比如用低精度傳輸導(dǎo)數(shù)），這些方法甚至可以和今后新的低精度硬件結(jié)合。這里有另一部分跟芯片相結(jié)合的研究是模型壓縮，這也是和優(yōu)化相關(guān)的研究范疇。

另外還有一個(gè)方向就是以實(shí)用為導(dǎo)向的非凸優(yōu)化算法研究。非凸優(yōu)化其實(shí)除了解決深度神經(jīng)網(wǎng)絡(luò)中的問(wèn)題，還能解決別的一些問(wèn)題，不過(guò)大家可能比較關(guān)心的就是深度神經(jīng)網(wǎng)絡(luò)問(wèn)題。很多研究人員會(huì)做出一些有效的但沒(méi)有太多理論基礎(chǔ)的 heuristic 算法，包括 batch normalization 算法。另外還有類似 Adam 的算法，在實(shí)用上也很流行。它是把兩個(gè)凸優(yōu)化的想法結(jié)合在了一起：將 momentum 優(yōu)化算法與 Adaptive Gradient 結(jié)合，再做一些參數(shù)調(diào)整。

另外在理論上，最近也有一些進(jìn)展。最近有一些年輕的華裔科學(xué)家在這一領(lǐng)域做了一些比較前沿的研究，比如說(shuō)研究怎么去優(yōu)化逃出鞍點(diǎn)，他們最后得出了一個(gè)局部最優(yōu)解。

現(xiàn)在很多是理論上的工作，比如說(shuō)對(duì)收斂復(fù)雜度的研究，把 ε 的負(fù) 2 次方變成 ε 的負(fù) 1.5 次方、負(fù) 1.25 次方等。雖然這些算法目前看起來(lái)可能都不太實(shí)用，但是在理論上取得了一些進(jìn)步。我們可以研究這些方法到底能夠走得有多快，之后慢慢將它們變得實(shí)用化。

另外一塊大家感興趣的研究是算法在一些非凸問(wèn)題上的全局最優(yōu)收斂性，在這里需要一些結(jié)構(gòu)信息。目前的研究在某些問(wèn)題上取得了一些結(jié)論。有些是優(yōu)化算法，但有些可能把算法改變了，用了其他的結(jié)構(gòu)。

還有一塊新的大家比較感興趣的研究領(lǐng)域，是 saddle point 問(wèn)題。我個(gè)人對(duì)這個(gè)問(wèn)題也感興趣，我研究過(guò)相關(guān)文獻(xiàn)。目前在優(yōu)化上，對(duì)這一領(lǐng)域的研究不算太多?，F(xiàn)在比較好做的是凸，凹問(wèn)題，以及對(duì)變量是線性，primal 和 dual 之間是 bilinear 作用關(guān)系的問(wèn)題。在這些問(wèn)題上，現(xiàn)在有了一些成果，包括機(jī)器學(xué)習(xí)領(lǐng)域現(xiàn)在也開始進(jìn)行這方面的研究了。如果不是 bilinear 的，情況相對(duì)來(lái)說(shuō)會(huì)更難一些，有些結(jié)論就不好推廣了。目前，在非凸情況下，或者不是凸，凹的情況下，這一塊的結(jié)果非常少，連收斂性都沒(méi)有好的一般性的結(jié)果，很多問(wèn)題能收斂到什么地步我們也不是很清楚。

從實(shí)際上來(lái)看，確實(shí)會(huì)存在這種問(wèn)題，比如說(shuō)強(qiáng)化學(xué)習(xí)的某些形式可以寫成一個(gè)鞍點(diǎn)問(wèn)題。包括其他的一些生成模型，例如生成對(duì)抗網(wǎng)絡(luò)，都會(huì)出現(xiàn)這種形式，既不是凸的，也不是凹的，但它有一些特殊結(jié)構(gòu)，所以有些對(duì)它感興趣的人會(huì)進(jìn)行專門的研究。而強(qiáng)化學(xué)習(xí)本身也是跟優(yōu)化聯(lián)系比較緊密的方向，它也跟運(yùn)籌學(xué)研究的馬爾科夫決策過(guò)程緊密相關(guān)。目前這個(gè)方向是研究熱點(diǎn)，有越來(lái)越多的結(jié)果出現(xiàn)。

雖然機(jī)器學(xué)習(xí)領(lǐng)域的問(wèn)題比較窄，很多傳統(tǒng)優(yōu)化問(wèn)題都不屬于機(jī)器學(xué)習(xí)的研究范疇，但就像我前面說(shuō)的，這里面也有很多有意思的問(wèn)題，它們和優(yōu)化緊密相連 。機(jī)器學(xué)習(xí)領(lǐng)域在這些問(wèn)題上鉆研的相對(duì)比較深，常常做出了超出優(yōu)化領(lǐng)域本身的一些理論工作。

希望到時(shí)候和大家能多多交流，如果大家感興趣，可以參與進(jìn)來(lái)，共同研究。

雷鋒網(wǎng) AI 科技評(píng)論編輯整理。

（完）

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。