雷鋒網(wǎng) AI 科技評論按：2019 年 5 月 9 日，由北京智源人工智能研究院主辦的“智源論壇”在中關(guān)村國家自主創(chuàng)新示范區(qū)會議中心舉行?！爸窃凑搲笔且幌盗懈咚饺斯ぶ悄芗夹g(shù)分享活動，將定期邀請業(yè)內(nèi)頂尖學(xué)者共同探討前沿技術(shù)、分享經(jīng)驗。圍繞當(dāng)前人工智能所面臨的可計算性、可解釋性、泛化性和穩(wěn)定性等基礎(chǔ)問題，主辦方從數(shù)學(xué)、統(tǒng)計和計算的角度，設(shè)立了人工智能的數(shù)理基礎(chǔ)重大研究方向，本期論壇主題為“人工智能的數(shù)理基礎(chǔ)”，由 15 名學(xué)者分為三天進行分享。雷鋒網(wǎng) AI 科技評論有幸受邀出席，將現(xiàn)場精華記錄如下。

第一期論壇一共安排了 5 場分享，第一位主講人是北京大學(xué)董彬副教授，其報告題目是《Bridging Deep Neural Networks and Differential Equations for Image Analysis and Beyond》。

目前學(xué)界已關(guān)注到深度學(xué)習(xí)存在的問題，比如 Ali Rahimi 就在 2017 年 NIPS 大會上提到 Deep learning 是 “alchemy”（煉金術(shù)）。與此同時， Ali Rahimi 也表示 Being alchemy is certainly not a shame，而 not wanting to work on advancing to chemistry is a shame，意思是說只有提供系統(tǒng)的理論指導(dǎo)，該領(lǐng)域才會從純實驗學(xué)科變成有理論體系的學(xué)科。我和團隊試圖從應(yīng)用/計算數(shù)學(xué)的角度去理解深度學(xué)習(xí)，以期能為網(wǎng)絡(luò)構(gòu)架設(shè)計、相關(guān)研究提供一些新的指導(dǎo)思想。

一般來說，數(shù)學(xué)家都會通過嚴謹?shù)睦碚摲治鋈プC明猜想，而我們采取了另一條思路，先尋找深度學(xué)習(xí)與數(shù)學(xué)概念的對應(yīng)關(guān)系，再據(jù)此進行分析。比如我們可以把深層網(wǎng)絡(luò)理解為微分方程，亦或者是微分方程的一種離散形式。建立起這個聯(lián)系后，我們就會清楚該從數(shù)學(xué)的哪個領(lǐng)域入手去理解深度學(xué)習(xí)。

DNN 與數(shù)值 ODE 之間是一個什么樣的關(guān)系呢？如果以數(shù)學(xué)的形式寫出來，就會認為這是一個動力系統(tǒng)，然而這個很難被分析。有名的殘差網(wǎng)絡(luò)從數(shù)學(xué)形式上來看就比較好理解，其實就是連續(xù)的 ODE，對時間做了前項歐拉的離散，只不過在設(shè)計網(wǎng)絡(luò)時把 Δt 設(shè)成了 1。

這是很有意思的觀察，但人們也在懷疑，殘差網(wǎng)絡(luò)核與動力系統(tǒng)的聯(lián)系是否只是特例？更重要的是，假如 numerical ODE 和網(wǎng)絡(luò)構(gòu)架之間建立了聯(lián)系，我們是否能從 numerical ODE 這個相對成熟的研究領(lǐng)域去反推出有用的構(gòu)架？

后來我們發(fā)現(xiàn)，除了殘差網(wǎng)絡(luò)，其他網(wǎng)絡(luò)如 pulling Net 對應(yīng)的實際上也是一個解了的反向歐拉，而反向歐拉需要我們對非常大的非線性方程組的逆進行求解，做不了就得利用多項式的逼近。于是我們用 numerical ODE 嘗試設(shè)計一些新的網(wǎng)絡(luò)構(gòu)架，主要針對 residue block，至于具體里面的 block 是什么，并不做太大修改。

除了確定性內(nèi)容，深度學(xué)習(xí)的訓(xùn)練還會面臨各種各樣的隨機擾動，按理來說其對應(yīng)的就是隨機微分方程。我們發(fā)現(xiàn)，不管是隨機策略還是網(wǎng)絡(luò)自帶的隨機性質(zhì)，訓(xùn)練網(wǎng)絡(luò)實際上是一個求解隨機控制的問題，因此可以從隨機控制的角度來看待帶有隨機訓(xùn)練策略的深度學(xué)習(xí)訓(xùn)練。我們做了簡單對比，發(fā)現(xiàn)在不減少精度情況下，可以把深度減少90%，100層就能達到1200層的效果。

此外，隨著采集數(shù)據(jù)的手段越來越先進，如今存在大量的三維甚至四維數(shù)據(jù)，我們是否能將 PDE 與深度學(xué)習(xí)結(jié)合，形成提取規(guī)律的高效工具？我們對此也做了初步嘗試，核心思想是對卷積做部分約束，確保學(xué)習(xí)方程之余，還能保證模型的可預(yù)測性。

過去用演化預(yù)熱方程做圖像去噪，一旦演化的時間過長，圖像的細節(jié)也會隨之丟失，也就是說，停止的時機是個超參數(shù)，且與噪聲的水平有關(guān)。不同的圖像，不同的噪聲水平，超參數(shù)的最佳停止時間是不一樣的，我們除了對網(wǎng)絡(luò)的參數(shù)進行優(yōu)化，也將動力系統(tǒng)的停止時間納入到優(yōu)化范疇內(nèi)，即是網(wǎng)絡(luò)深度可以根據(jù)當(dāng)前數(shù)據(jù)進行自動調(diào)節(jié)，最終結(jié)果的自動化程度要比以前好很多。

下一步，我們將借助智源的支持去做更多理論分析，比如將數(shù)值微分方程或者是反問題里的其他方法視作深度學(xué)習(xí)網(wǎng)絡(luò)構(gòu)架，接著分析這些網(wǎng)絡(luò)構(gòu)架的泛化水平、壓縮感知等，最終設(shè)計出更加緊致的網(wǎng)絡(luò)。

第二位主講人是來自北京大學(xué)的林偉研究員，他的報告題目是《破解機器學(xué)習(xí)中的中的維數(shù)災(zāi)難：從可辨識性談起》。

所謂高維統(tǒng)計，即是研究所謂的高維數(shù)據(jù)或者高維模型的統(tǒng)計學(xué)。以數(shù)據(jù)為例，維數(shù)指的是變量的個數(shù)，比如同時分析幾千個甚至是更多數(shù)據(jù)，那么維數(shù)就會非常高。放在模型維數(shù)語境來說，，高維就是俗稱的“過參數(shù)化”。

怎么從統(tǒng)計學(xué)的角度給人工智能技術(shù)建立一個能提高可解釋性的理論學(xué)習(xí)框架呢？我認為目前存在兩套工具，一套基于隨機矩陣理論，我們可以從這種漸進框架下推導(dǎo)出許多與經(jīng)典統(tǒng)計學(xué)中 N 趨于無窮不同的漸進結(jié)果；另一套是我所做的集中不等式，簡單來說，許多結(jié)果都是非漸進的，我們可以據(jù)此得出推論，令 P 隨著 N 具有某種關(guān)系，借此得到一些允許 P 遠大于 n 的漸進結(jié)果。

什么是可辨識性？如果數(shù)據(jù)分布的兩個參數(shù) θ1 和 θ2 對應(yīng)的數(shù)據(jù)分布是一樣的，我們就可以借此推導(dǎo)出是同一個參數(shù)。這個很關(guān)鍵，如果沒法確定真實參數(shù)是什么，一旦用算法做優(yōu)化找參數(shù)，結(jié)果將極其不穩(wěn)定。不可辨識的模型有哪些缺點？一個是解釋性差；一個是泛化能力弱。我們可以通過稀疏和低秩來保證可辨識性。需要強調(diào)的是，因果推斷理論在很多情況下是不可辨識的，但我們可以為之做出定界，如果上界與下界足夠小，那么還是有作用的。

如果可辨識性無法保證，我們是不是非要達到可辨識性的目標(biāo)？不可辨識性所導(dǎo)致的誤差，能否反映在我們的結(jié)果里？我們的工作給出了答案：前者是no，后者是yes。如果是做生物學(xué)習(xí)，那么問題一的答案是最好有，但不是非要不可，因為確實存在過稀疏的網(wǎng)路性能更好的例子，但不絕對；至于第二個問題目前還沒有定論。

神經(jīng)網(wǎng)絡(luò)是一種高維或者過參數(shù)化的模型，從統(tǒng)計學(xué)來說，我們可以如何進行修改？第一、擬合目標(biāo)函數(shù)；二、分析目標(biāo)的真實函數(shù)到底是在什么類別。有了這個東西以后，我們將能得到一些解，比如說兩種稀疏。

第三位主講人是來自北京大學(xué)的邵嗣烘副教授，他的報告題目是《面向智能的數(shù)學(xué)》。

我們現(xiàn)在造很多機器，總想弄清楚人類從哪里來，要到哪兒去，以解答所謂的終極問題。那么問題就來了，我們是怎么意識到我們是我們的呢？這就涉及到人腦是怎么形成意識的問題。

所謂的人工智能，其根本是通過人類能理解的方式去模仿智能或者說探索智能的機理。人的大腦是一個由 1000 億的經(jīng)元構(gòu)成的腦神經(jīng)網(wǎng)絡(luò)，無論好的壞的想法都來自這里，這隱含著兩個基本事實：一、構(gòu)成網(wǎng)絡(luò)的物質(zhì)基礎(chǔ)與自然界中的原子沒有區(qū)別，所以我們得用量子力學(xué)描述它；二、要基于量子力學(xué)的行為去描述神經(jīng)元突觸量子力學(xué)的行為，這對于理解意識的產(chǎn)生非常重要。

這么重要的課題，為何一直都沒太大的進展呢？其一，直到去年我們才成功掌握果蠅的全腦產(chǎn)高清圖像，也是從這個時候開始我們才可以看到所有神經(jīng)元的空間位置，不過這個活體已經(jīng)失去生命力了。其二，對量子力學(xué)行為進行測量，從物理原理的層面上來說其實特別困難。具體難在什么地方呢？海森堡測不準(zhǔn)關(guān)系告訴我們，微觀世界的粒子除了是粒子以外，還向著光。

為此，我們利用計算機算解通過經(jīng)典的量子力學(xué)方程給解出來，使用了維格納函數(shù)。維格納函數(shù)是目前唯一擁有嚴格數(shù)學(xué)理論知識、可以從量子世界過渡到經(jīng)典世界的數(shù)學(xué)表述形式，利用維格納函數(shù)做模擬，可以為實驗科學(xué)家提供觀測和對比的數(shù)據(jù)結(jié)果。一旦要在實際的腦神經(jīng)網(wǎng)絡(luò)中去跑動力學(xué)，肯定會遇到計算規(guī)模的問題，因此我們采取了隨機算法模式，通過數(shù)學(xué)的等價推理，發(fā)現(xiàn)它等價于一個更新方程，而方程本身內(nèi)在存在一個隨機解釋，即是所謂的分枝隨機游走，基于這個過程將可以進行進一步模擬。

我們來看一下果蠅的大腦數(shù)據(jù)實驗，它的腦神經(jīng)元是由十萬個神經(jīng)突觸構(gòu)成的腦神經(jīng)網(wǎng)，而人腦則是一千億。從數(shù)據(jù)模擬的角度來說，規(guī)模差距太大，無論對算法設(shè)計還是數(shù)學(xué)理論而言都是極大的挑戰(zhàn)。因此，我們必須研究優(yōu)化算法，如何在不損害精度的情況下，在誤差允許范圍之內(nèi)對網(wǎng)絡(luò)做分解。

我們在這方面做了很長時間的探索，試圖去探討圖上的數(shù)學(xué)，結(jié)果發(fā)現(xiàn)很多問題不是我們所想象的那樣。比如圖上討論某一類問題，你將發(fā)現(xiàn)其特征函數(shù)或者特征向量非常多，而且可以把它進行局域化。換句話說，給你一個網(wǎng)絡(luò)，再給你一把剪刀進行裁剪，我們既可以剪最多的邊，也可以剪最小的邊，但我們最終希望，剪下來的兩塊是比較勻稱的?，F(xiàn)實的數(shù)學(xué)理論會告訴你，不可能在有生之年找到最佳方案。

既然如此，我們?nèi)绾我宰羁斓拇鷥r拿到次優(yōu)解？我們的思路是把大圖剪成小圖，再用小圖拿來跑維格納量子物理學(xué)，從中了解時間之間是否存在量子關(guān)聯(lián)，再把數(shù)據(jù)開放做實驗。我們想辦法找到連續(xù)優(yōu)化問題與之進行對應(yīng)，回到數(shù)學(xué)分析層面其實很簡單，一個序列的極限是唯一的，但是具體產(chǎn)生同樣極限的序列有多少種，以及具體是哪個序列，則取決于額外約束。

我們希望能把這套理論走通，以便產(chǎn)生的優(yōu)化問題能有解析表達形式。于是，我們做了所謂的Lovasz擴展，隨便給個組合優(yōu)化問題，我們都能找到對應(yīng)的聯(lián)系。我們據(jù)此設(shè)計了一個簡單的算法叫表達式迭代，這些問題雖然不能知道最優(yōu)值，那我們就把文獻里看到的最佳值做一個解，由此找到這些算法的相對誤差，然后再簡單的跑一下，這樣最終結(jié)果與最佳值的誤差能夠控制在1%以內(nèi)，比原來的快了不只一點點。

這個方向我們已經(jīng)做了很好的積累，其中包括組合問題，如何解兩個關(guān)聯(lián)等。這個方向如果要繼續(xù)往前走，需要跨好幾個領(lǐng)域，具體究竟需要用到哪些數(shù)學(xué)工具或者數(shù)學(xué)理論，目前還不是很清楚，目前只能做各種嘗試。

總而言之，這些事情一下把我們拉回了起點，我們可能真的需要從根子上或者從數(shù)學(xué)理論上去理解，把連續(xù)的東西或者離散的東西放在統(tǒng)一的框架里進行討論。過去，我們做的很多事情都太局限了，而現(xiàn)在你再也躲不開，從這個角度而言，這件事情才剛剛開始。

第四位主講人是來自北京應(yīng)用物理與計算數(shù)學(xué)研究所的王涵，他的報告題目是《Deep Learning for Multiscale Molecular Modeling》。

假設(shè)這個世界由原子構(gòu)成，每個原子我們都看成是一個質(zhì)點，這個位置是 Ra 。根據(jù)中學(xué)學(xué)過的牛頓第二運動定律，只要給定初值就能把這個方程解出來，這樣我們就能知道所有原子在任意時刻的坐標(biāo)，這是分子模擬在干的一個事情。如果大家看過三體，就會馬上意識到要精確地解方程，只能對兩原子體系求解，然而任意一個多原子體系，你都無法在無窮長的時間內(nèi)把它給精確的解出來，由此初始的初值誤差就會變得非常大，造成你的解變得不靠譜。

然而分子模擬想獲得的結(jié)果并不是原子運動的軌道，而是原子運動的軌道在無窮長時間內(nèi)對相空間的一個分布，這樣就意味著數(shù)值誤差對于這個分布的影響實際上是可以被控制的。換句話說，如果離散做得足夠好，我們獲得的平臺分布就能與物理中想要的分布保持一致。分子建模試圖把能量函數(shù)的 E 給寫出來，而多尺度分子建模就是對原子坐標(biāo)做一定的粗?；?，然后再去寫出等價的形式。

多維函數(shù)在傳統(tǒng)數(shù)學(xué)的處理上還是比較困難的，深度學(xué)習(xí)正好給我們提供了非常有利的工具。我們的目標(biāo)就是在保證第一性原理計算精度的前提下，能做到計算開銷，并與經(jīng)典力場盡可能進行合并。

然后對稱性開始成了問題。舉個例子，比如手機是一堆原子，然后這個手機在空間中平移一下，所有原子的坐標(biāo)一起加一個向量，還能保證這個手機的能量顯示不變，即使是把手機轉(zhuǎn)一下，能量也同樣不變。 對稱性對于一個生物學(xué)模型或者神經(jīng)網(wǎng)絡(luò)來講無法被保證，任意的坐標(biāo)平移或交換都可能導(dǎo)致網(wǎng)絡(luò)的輸出不一樣。

保持模型的對稱性有兩種做法：第一種是在分子體系里固定一個隨體的標(biāo)件，這樣就能通過排序把交換的對稱性給穩(wěn)住，這個做法的優(yōu)點是表示能力強，缺點是會給能量函數(shù)造成一定的不連續(xù)性。另一種則基于兩個觀察，第一個觀察是以兩個向量做內(nèi)基，做完內(nèi)基以后是旋轉(zhuǎn)不變的，第二個觀察是對 i 原子的坐標(biāo)的近鄰求和，求完和以后交換就不變?；谶@兩點，我們設(shè)計了所謂的描述子，然后我們把描述子放到神經(jīng)網(wǎng)絡(luò)前面，再把輸出接到神經(jīng)網(wǎng)絡(luò)里面，以保持整個模型的對稱性。

我們的深度學(xué)習(xí)模型發(fā)表后，別人拿去解決了一些實際問題。比如一位英國皇家科學(xué)院院士用來研究硅，他說早先產(chǎn)生的力場很難把硅的固相跟硬相同時描述好，但我們深度學(xué)習(xí)的模型可以，他用來做了一個硅的熔化，取得了很好的效果。另一個是北師大的教授，他拿來做激發(fā)態(tài)的反應(yīng)動力學(xué)。在過去傳統(tǒng)的建模里，激發(fā)態(tài)的動力學(xué)的兩個勢能面交接錐的精度總是做不好，是該領(lǐng)域的一個難題，我們的深度學(xué)習(xí)模型卻很好解決了這個問題。

前面講的都是深度學(xué)習(xí)對原子間相互作用的表示，實際上卻存在一個很嚴重的問題——數(shù)據(jù)從哪兒來。我們因此提出主動學(xué)習(xí)策略，先訓(xùn)練出一個可進行分子動力學(xué)的模型，然后再通過分子動力學(xué)去構(gòu)型更多分子，簡單來說，就是每次改進完模型后，立馬就回產(chǎn)生新的構(gòu)型，新的構(gòu)型經(jīng)過測試，我們把誤差大的挑出來重新打標(biāo)簽，進而豐富數(shù)據(jù)庫。

最后，在表示高維空間函數(shù)深度學(xué)習(xí)的技術(shù)方面使用主動學(xué)習(xí)，關(guān)鍵之處在于誤差估計，怎么樣能夠把誤差通過第一性原理計算給估計出來，將會是設(shè)計的核心。

第五位主講人是來自北京大學(xué)的張志華教授，他的報告題目是《數(shù)學(xué)工程——理解機器學(xué)習(xí)的一種角度》。

機器學(xué)習(xí)與人工智能從本質(zhì)上來講還是很不一樣的，它并不是模擬人的思維和行為，而是通過經(jīng)驗和交互的方式去改善性能。實際上它是研究算法的學(xué)科，這個算法基于數(shù)據(jù)型算法，然后再反饋到數(shù)據(jù)里去?？梢园催@個思路理解機器學(xué)習(xí)：我擁有一個數(shù)據(jù)，如何把它作為一個表示，或者獲得一個特征，再基于這個表示特征達到預(yù)測和決策的目的。

當(dāng)中較有代表性的，毫無疑問是基于規(guī)則的學(xué)習(xí)，該方法的重點是特征工程，這也意味著，需要對領(lǐng)域非常了解，才有可能做成這個東西。這個事情實際存在一些問題，比如一旦做的是個深層次的推理，就會導(dǎo)致維數(shù)災(zāi)難。為了解決這問題，一個簡單的思路是把原來基于規(guī)則的方式，環(huán)城一個非線性的模型，然后反過來弱化數(shù)據(jù)到表示的過程，基于這樣的數(shù)論發(fā)展出了統(tǒng)計機器學(xué)習(xí)。

統(tǒng)計方法發(fā)展到一定的時候，大家認為數(shù)據(jù)到表示這件事情依然繞不過去，方法再強大，數(shù)據(jù)到表示如果不行還是會帶來很多麻煩。于是又出現(xiàn)一個簡單的思路，通過學(xué)習(xí)的方式來求解表示問題，也就是通過機器學(xué)習(xí)的方法來求解表示問題。

實際上，這個時期的深度學(xué)習(xí)目的還不純粹是為了表示，關(guān)鍵還是為了非線性的擬合。這就導(dǎo)致至今還沒找到有效表示網(wǎng)絡(luò)的自然語言處理領(lǐng)域，發(fā)展上沒圖像處理領(lǐng)域那么快。深度學(xué)習(xí)發(fā)展到現(xiàn)在，面臨的一個問題是無監(jiān)督問題遠遠比有監(jiān)督問題要多，且更復(fù)雜。隨后就出現(xiàn)一個思路，把無監(jiān)督問題形成與有監(jiān)督類似的學(xué)習(xí)過程。

換句話說，如果有一個優(yōu)化過程，是需要用機器學(xué)習(xí)方法來解決的話，統(tǒng)計學(xué)里就會假設(shè)這個X要生成它。那么 X 如果是連續(xù)的，我可以假設(shè)這個 X 是高斯；如果 X 的高斯假設(shè)很強，我們可以說 X 是一個高斯混合體。這個時候大家發(fā)現(xiàn)， X 是一個抽象的數(shù)學(xué)意識，并沒有具體的物理意義，那么自然神經(jīng)網(wǎng)絡(luò)技術(shù)能不能像圖像進行一樣去生生成語言，而不是對數(shù)學(xué)意義上的 X 去生成。這時候就發(fā)展出類似生成對抗網(wǎng)絡(luò)的方法來解決這樣的問題，它的框架實際上就是如何形成一個優(yōu)化問題。

近期流行還有強化學(xué)習(xí)，它利用規(guī)則與環(huán)境交互形成一個學(xué)習(xí)優(yōu)化問題。強化學(xué)習(xí)比有監(jiān)督學(xué)習(xí)具備一些先驗，再利用這些先驗知識形成一個優(yōu)化目的，這是強化學(xué)習(xí)目前的發(fā)展情況。深度學(xué)習(xí)是在 2006 年被提出來的，直到 2012 年才落地，實際上中間五六年主流的機器學(xué)習(xí)家都在其中徘徊，很多人都沒真正去跟進，換句話說，這可能是一個機遇期，但是不是一個大的機遇期，就不太好說了。

我們知道機器學(xué)習(xí)存在三個問題：有監(jiān)督、無監(jiān)督和強化學(xué)習(xí)。那么機器學(xué)習(xí)跟統(tǒng)計的關(guān)系是什么呢？原來我們認為機器學(xué)習(xí)是統(tǒng)計的分支，現(xiàn)在我們認為機器學(xué)習(xí)是現(xiàn)代統(tǒng)計學(xué)，但是它跟統(tǒng)計還有微妙的關(guān)系，機器學(xué)習(xí)是分類問題，而統(tǒng)計是回歸問題，但是從回歸上來講也沒有太本質(zhì)的區(qū)別。

此外，機器學(xué)習(xí)往往會形成優(yōu)化問題，模型你弄得再好，但是新的數(shù)據(jù)不行，機器學(xué)習(xí)就沒什么用。從這個角度來理解，就是學(xué)習(xí)完了以后，還要關(guān)注泛化的問題。現(xiàn)代的機器學(xué)習(xí)的成功之處在于表示，深度學(xué)習(xí)不是單純的一個非線性模型，而是一個非線性的表示。我們想要用機器學(xué)習(xí)做預(yù)測，而預(yù)測是通過計算得來的，所以說一個好的表示要適合最終的預(yù)測，而且這個表示也要適合我的計算。

深度學(xué)習(xí)目前也遇到很多挑戰(zhàn)，第一個是對于大數(shù)據(jù)的要求，往往會帶來過參數(shù)的問題。另外，我做的這個表述是基于多層表述，所以問題是高度的非凸化，這是它的基本問題。機器學(xué)習(xí)要關(guān)注的重點問題有四個：可泛化性、可計算性、穩(wěn)定性、可解釋性?，F(xiàn)在大家都強調(diào)可解釋性，但是重點應(yīng)該是穩(wěn)定性和泛化性這個層面。多級技術(shù)、正則化和規(guī)范技術(shù)、集成+平均化的技術(shù)、自適應(yīng)方法都可以在客觀上幫助我們解決這些問題。

最后我總結(jié)一下，為什么我要提出數(shù)學(xué)工程的概念。數(shù)學(xué)里的概率論、隨機分析這些東西是可以來研究AI的數(shù)學(xué)機理。就算有了模型，最后我們都要通過計算來表示這個結(jié)果。這個計算一共可分為三個方面，第一個方面是數(shù)據(jù)分析，求解連續(xù)問題的算法，另外是離散算法，這個可以看作是求解離散結(jié)構(gòu)的算法，還有大規(guī)模的集散的構(gòu)架問題。這些我們可以認為是個工程，這些東西可以通過計算的工程思路把數(shù)據(jù)問題給實現(xiàn)出來。

應(yīng)用數(shù)學(xué)最重要的魅力在于提出問題的思路和途徑，而不僅僅來證明定理，工程即是技術(shù)，也是一種藝術(shù)，它是算法的必要補充。沒有計算圖、自動微分這樣的工程工具，深度學(xué)習(xí)根本不可能得到推廣。深度學(xué)習(xí)里的很多技巧都是工程的，但是它也是數(shù)學(xué)的東西包含在內(nèi)。如果強化學(xué)習(xí)能夠獲得巨大成功，那么我相信數(shù)學(xué)與工程的發(fā)展也將隨之形成一個巔峰。

“智源論壇——人工智能的數(shù)理基礎(chǔ)”的首場報告至此圓滿結(jié)束，接下來兩場報告將于 5 ? 13 ? & 5 月 16 ?舉行，更多詳情請關(guān)注北京智源人工智能研究院官網(wǎng) https://www.baai.ac.cn 。

雷鋒網(wǎng) AI 科技評論

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。