0
| 本文作者： sanman | 2018-06-16 16:45 |
雷鋒網(wǎng) AI 科技評(píng)論按：2018 年 5 月 31 日-6 月 1 日，中國自動(dòng)化學(xué)會(huì)在中國科學(xué)院自動(dòng)化研究所成功舉辦第 5 期智能自動(dòng)化學(xué)科前沿講習(xí)班，主題為「深度與寬度強(qiáng)化學(xué)習(xí)」。
如何賦予機(jī)器自主學(xué)習(xí)的能力，一直是人工智能領(lǐng)域的研究熱點(diǎn)。在越來越多的復(fù)雜現(xiàn)實(shí)場景任務(wù)中，需要利用深度學(xué)習(xí)、寬度學(xué)習(xí)來自動(dòng)學(xué)習(xí)大規(guī)模輸入數(shù)據(jù)的抽象表征，并以此表征為依據(jù)進(jìn)行自我激勵(lì)的強(qiáng)化學(xué)習(xí)，優(yōu)化解決問題的策略。深度與寬度強(qiáng)化學(xué)習(xí)技術(shù)在游戲、機(jī)器人控制、參數(shù)優(yōu)化、機(jī)器視覺等領(lǐng)域中的成功應(yīng)用，使其被認(rèn)為是邁向通用人工智能的重要途徑。
本期講習(xí)班邀請(qǐng)有澳門大學(xué)講座教授，中國自動(dòng)化學(xué)會(huì)副理事長陳俊龍，清華大學(xué)教授宋士吉，北京交通大學(xué)教授侯忠生，國防科技大學(xué)教授徐昕，中國中車首席專家楊穎，中科院研究員趙冬斌，清華大學(xué)教授季向陽，西安交通大學(xué)教授陳霸東，浙江大學(xué)教授劉勇，清華大學(xué)副教授游科友等十位學(xué)者就深度與寬度強(qiáng)化學(xué)習(xí)技術(shù)在游戲、機(jī)器人控制、參數(shù)優(yōu)化、機(jī)器視覺等領(lǐng)域中的成功應(yīng)用進(jìn)行報(bào)告。
雷鋒網(wǎng) AI 科技評(píng)論在本文中將對(duì) 6 月 1 日楊穎、趙冬斌、劉勇、游科友、徐昕的 5 場精彩報(bào)告進(jìn)行介紹。
楊穎是中國中車首席專家，教授級(jí)高級(jí)工程師，中車株洲電力機(jī)車有限公司副總工程師。
本報(bào)告專注于智慧列車相關(guān)內(nèi)容，中國的軌道交通發(fā)展迅猛，列車數(shù)量在過去六年里幾乎翻了兩番。傳統(tǒng)的定期保養(yǎng)模式現(xiàn)在問題重重，且這種模式花費(fèi)不菲。在該背景下急需一個(gè)新的車輛保養(yǎng)方案。中國中車株洲和深圳鐵路公司聯(lián)合開發(fā)了一個(gè)軌道交通車輛預(yù)測與健康管理系統(tǒng)來降低車輛保養(yǎng)所需的人工費(fèi)用以及其他費(fèi)用。借助 PHM 系統(tǒng)，可以把定期保養(yǎng)模式轉(zhuǎn)換為有條件保養(yǎng)模式，這樣就可以延長檢查保養(yǎng)周期，從而延長列車在安全健康狀態(tài)下的運(yùn)營時(shí)間。
趙冬斌是中國科學(xué)院自動(dòng)化研究所研究員、博導(dǎo)，中國科學(xué)院大學(xué)崗位教授。
本報(bào)告專注于深度強(qiáng)化學(xué)習(xí)算法的應(yīng)用。將具有「決策」能力的強(qiáng)化學(xué)習(xí) (RL: Reinforcement Learning) 和具有「感知」能力的深度學(xué)習(xí) (DL: Deep Learning) 相結(jié)合，形成深度強(qiáng)化學(xué)習(xí) (DRL: Deep RL) 方法，成為人工智能 (AI: Artificial Intelligence) 的主要方法之一。2013 年，谷歌 DeepMind 團(tuán)隊(duì)提出了一類 DRL 方法，在視頻游戲上的效果接近或超過人類游戲玩家，成果發(fā)表在 2015 年的《Nature》上。2016 年，相繼發(fā)表了所開發(fā)的基于 DRL 的圍棋算法 AlphaGo，以 5:0 戰(zhàn)勝了歐洲圍棋冠軍和超一流圍棋選手李世石，使圍棋 AI 水平達(dá)到了一個(gè)前所未有的高度。2017 年初，AlphaGo 的升級(jí)程序 Master，與 60 名人類頂級(jí)圍棋選手比賽獲得不敗的戰(zhàn)績。2017 年 10 月，DeepMind 團(tuán)隊(duì)提出了 AlphaGo Zero，完全不用人類圍棋棋譜而完勝最高水平的 AlphaGo，再次刷新了人們的認(rèn)識(shí)。并進(jìn)一步形成通用的 Alpha Zero 算法，超過最頂級(jí)的國際象棋和日本將棋 AI。DRL 在視頻游戲、棋類博弈、自動(dòng)駕駛、醫(yī)療等領(lǐng)域的應(yīng)用日益增多。本報(bào)告介紹了強(qiáng)化學(xué)習(xí)、深度學(xué)習(xí)和深度強(qiáng)化學(xué)習(xí)算法，以及在各個(gè)領(lǐng)域的典型應(yīng)用。
劉勇是浙江大學(xué)教授、博導(dǎo)，浙江大學(xué)求是青年學(xué)者。
本報(bào)告專注于正則化深度學(xué)習(xí)方法。近年來，隨著人工智能技術(shù)的飛速發(fā)展，深度神經(jīng)網(wǎng)絡(luò)技術(shù)在圖像分析、語音識(shí)別、自然語言理解等難點(diǎn)問題中都取得了十分顯著的應(yīng)用成果。然而該技術(shù)在機(jī)器人感知領(lǐng)域的應(yīng)用相對(duì)而言仍然不夠成熟，主要源于深度學(xué)習(xí)往往需要大量的訓(xùn)練樣本來避免過擬合、提升泛化能力，從而降低其在測試樣本上的泛化誤差，而機(jī)器人環(huán)境感知中涉及的任務(wù)與環(huán)境具有多樣化特性，且嚴(yán)重依賴于機(jī)器人硬件平臺(tái)，因而難以針對(duì)機(jī)器人各感知任務(wù)提供大量標(biāo)注樣本；其次，對(duì)于解不唯一的病態(tài)問題，即使提供大量的訓(xùn)練數(shù)據(jù)，深度學(xué)習(xí)方法也難以在測試數(shù)據(jù)上提供理想的估計(jì)，而機(jī)器人感知任務(wù)中所涉及的距離估計(jì)、模型重構(gòu)等問題就是典型的病態(tài)問題，其輸入中沒有包含對(duì)應(yīng)到唯一輸出的足夠信息。針對(duì)上述問題，本報(bào)告以提升深度學(xué)習(xí)泛化能力為目標(biāo)、以嵌入先驗(yàn)知識(shí)的正則化方法為手段、以機(jī)器人環(huán)境感知為應(yīng)用背景進(jìn)行了介紹。
總體上看目前劉勇教授研究內(nèi)容共有四項(xiàng)，分別是：
? 隱層正則約束：圖正則自編碼器
? 結(jié)構(gòu)正則約束：語義正則網(wǎng)絡(luò)
? 結(jié)構(gòu)正則約束：嵌套殘差網(wǎng)絡(luò)
? 輸出正則約束：深度移動(dòng)立方體網(wǎng)絡(luò)
就目前的研究結(jié)果來說，正則化統(tǒng)一框架下深度學(xué)習(xí)性能有明顯的提升，在一系列機(jī)器人環(huán)境感知應(yīng)用上取得當(dāng)前領(lǐng)先表現(xiàn)。在接下來的工作中，劉勇教授團(tuán)隊(duì)將專注于無監(jiān)督學(xué)習(xí)，定性與定量感知任務(wù)相結(jié)合，結(jié)合機(jī)器人聲學(xué)、觸覺等傳感器等內(nèi)容。
游科友是清華大學(xué)副教授、博導(dǎo)，國家優(yōu)青，國家青年千人。
本報(bào)告專注于分布式優(yōu)化算法等問題，隨著訓(xùn)練參數(shù)與樣本規(guī)模的的急激增長，深度學(xué)習(xí)在實(shí)際應(yīng)用系統(tǒng)中顯示出了巨大的應(yīng)用前景。分布式與并行優(yōu)化是指通過多求解器起來協(xié)作求解的一類優(yōu)化問題，其在大規(guī)模數(shù)值計(jì)算、機(jī)器學(xué)習(xí)、資源分配、傳感器網(wǎng)絡(luò)等有重要的研究意義和應(yīng)用價(jià)值，并成為了大規(guī)模優(yōu)化與學(xué)習(xí)中最具挑戰(zhàn)性的問題之一。本報(bào)告首先討論了分布式優(yōu)化的幾個(gè)典型難題；其次。以魯棒性凸優(yōu)化為例，提出了分布式原-對(duì)偶求解算法與分布式 Polyak 算法，并以嚴(yán)格證明了算法的有效性。
游科友老師團(tuán)隊(duì)的在本報(bào)告中提到的主要內(nèi)容包括：
? 介紹分布式優(yōu)化的關(guān)鍵特征
? 他們?cè)O(shè)計(jì)的用來解決魯棒性凸優(yōu)化的分布式算法可以保證概率上最優(yōu)
? 他們?cè)O(shè)計(jì)了一個(gè)用于分布式優(yōu)化的分布式異步算法，并可以充分證明其收斂性? 他們?cè)O(shè)計(jì)了一個(gè)計(jì)算向量中心性的分布式算法，并可充分證明其收斂性
徐昕是國防科技大學(xué)教授、博導(dǎo)，國防科技卓越青年人才。
本報(bào)告專注于強(qiáng)化學(xué)習(xí)的優(yōu)化方法。以強(qiáng)化學(xué)習(xí) (reinforcement learning) 為代表的自主學(xué)習(xí)技術(shù)對(duì)于提升各類機(jī)器人系統(tǒng)的優(yōu)化決策與控制性能具有重要意義。在復(fù)雜不確定環(huán)境中機(jī)器人系統(tǒng)面臨諸多優(yōu)化決策與控制問題。面對(duì)這些問題，徐昕教授介紹了自評(píng)價(jià)學(xué)習(xí)在控制系統(tǒng)中的應(yīng)用，自評(píng)價(jià)學(xué)習(xí)控制中的特征表示方法，以及滾動(dòng)優(yōu)化的方法。
以上是雷鋒網(wǎng) AI 科技評(píng)論全部報(bào)道，中國自動(dòng)化學(xué)會(huì)第 5 期智能自動(dòng)化學(xué)科前沿講習(xí)班。兩天時(shí)間，十位專家為大家?guī)Я耸志视指韶浭愕膱?bào)告，對(duì)深度與寬度強(qiáng)化學(xué)習(xí)技術(shù)在游戲、機(jī)器人控制、參數(shù)優(yōu)化、機(jī)器視覺等領(lǐng)域中的成功應(yīng)用進(jìn)行了深入介紹。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
