0
| 本文作者： sanman | 2018-06-16 16:45 |
雷鋒網(wǎng) AI 科技評論按：2018 年 5 月 31 日-6 月 1 日，中國自動化學(xué)會在中國科學(xué)院自動化研究所成功舉辦第 5 期智能自動化學(xué)科前沿講習(xí)班，主題為「深度與寬度強化學(xué)習(xí)」。
如何賦予機器自主學(xué)習(xí)的能力，一直是人工智能領(lǐng)域的研究熱點。在越來越多的復(fù)雜現(xiàn)實場景任務(wù)中，需要利用深度學(xué)習(xí)、寬度學(xué)習(xí)來自動學(xué)習(xí)大規(guī)模輸入數(shù)據(jù)的抽象表征，并以此表征為依據(jù)進行自我激勵的強化學(xué)習(xí)，優(yōu)化解決問題的策略。深度與寬度強化學(xué)習(xí)技術(shù)在游戲、機器人控制、參數(shù)優(yōu)化、機器視覺等領(lǐng)域中的成功應(yīng)用，使其被認(rèn)為是邁向通用人工智能的重要途徑。
本期講習(xí)班邀請有澳門大學(xué)講座教授，中國自動化學(xué)會副理事長陳俊龍，清華大學(xué)教授宋士吉，北京交通大學(xué)教授侯忠生，國防科技大學(xué)教授徐昕，中國中車首席專家楊穎，中科院研究員趙冬斌，清華大學(xué)教授季向陽，西安交通大學(xué)教授陳霸東，浙江大學(xué)教授劉勇，清華大學(xué)副教授游科友等十位學(xué)者就深度與寬度強化學(xué)習(xí)技術(shù)在游戲、機器人控制、參數(shù)優(yōu)化、機器視覺等領(lǐng)域中的成功應(yīng)用進行報告。
雷鋒網(wǎng) AI 科技評論在本文中將對 6 月 1 日楊穎、趙冬斌、劉勇、游科友、徐昕的 5 場精彩報告進行介紹。
楊穎是中國中車首席專家，教授級高級工程師，中車株洲電力機車有限公司副總工程師。
本報告專注于智慧列車相關(guān)內(nèi)容，中國的軌道交通發(fā)展迅猛，列車數(shù)量在過去六年里幾乎翻了兩番。傳統(tǒng)的定期保養(yǎng)模式現(xiàn)在問題重重，且這種模式花費不菲。在該背景下急需一個新的車輛保養(yǎng)方案。中國中車株洲和深圳鐵路公司聯(lián)合開發(fā)了一個軌道交通車輛預(yù)測與健康管理系統(tǒng)來降低車輛保養(yǎng)所需的人工費用以及其他費用。借助 PHM 系統(tǒng)，可以把定期保養(yǎng)模式轉(zhuǎn)換為有條件保養(yǎng)模式，這樣就可以延長檢查保養(yǎng)周期，從而延長列車在安全健康狀態(tài)下的運營時間。
趙冬斌是中國科學(xué)院自動化研究所研究員、博導(dǎo)，中國科學(xué)院大學(xué)崗位教授。
本報告專注于深度強化學(xué)習(xí)算法的應(yīng)用。將具有「決策」能力的強化學(xué)習(xí) (RL: Reinforcement Learning) 和具有「感知」能力的深度學(xué)習(xí) (DL: Deep Learning) 相結(jié)合，形成深度強化學(xué)習(xí) (DRL: Deep RL) 方法，成為人工智能 (AI: Artificial Intelligence) 的主要方法之一。2013 年，谷歌 DeepMind 團隊提出了一類 DRL 方法，在視頻游戲上的效果接近或超過人類游戲玩家，成果發(fā)表在 2015 年的《Nature》上。2016 年，相繼發(fā)表了所開發(fā)的基于 DRL 的圍棋算法 AlphaGo，以 5:0 戰(zhàn)勝了歐洲圍棋冠軍和超一流圍棋選手李世石，使圍棋 AI 水平達到了一個前所未有的高度。2017 年初，AlphaGo 的升級程序 Master，與 60 名人類頂級圍棋選手比賽獲得不敗的戰(zhàn)績。2017 年 10 月，DeepMind 團隊提出了 AlphaGo Zero，完全不用人類圍棋棋譜而完勝最高水平的 AlphaGo，再次刷新了人們的認(rèn)識。并進一步形成通用的 Alpha Zero 算法，超過最頂級的國際象棋和日本將棋 AI。DRL 在視頻游戲、棋類博弈、自動駕駛、醫(yī)療等領(lǐng)域的應(yīng)用日益增多。本報告介紹了強化學(xué)習(xí)、深度學(xué)習(xí)和深度強化學(xué)習(xí)算法，以及在各個領(lǐng)域的典型應(yīng)用。
劉勇是浙江大學(xué)教授、博導(dǎo)，浙江大學(xué)求是青年學(xué)者。
本報告專注于正則化深度學(xué)習(xí)方法。近年來，隨著人工智能技術(shù)的飛速發(fā)展，深度神經(jīng)網(wǎng)絡(luò)技術(shù)在圖像分析、語音識別、自然語言理解等難點問題中都取得了十分顯著的應(yīng)用成果。然而該技術(shù)在機器人感知領(lǐng)域的應(yīng)用相對而言仍然不夠成熟，主要源于深度學(xué)習(xí)往往需要大量的訓(xùn)練樣本來避免過擬合、提升泛化能力，從而降低其在測試樣本上的泛化誤差，而機器人環(huán)境感知中涉及的任務(wù)與環(huán)境具有多樣化特性，且嚴(yán)重依賴于機器人硬件平臺，因而難以針對機器人各感知任務(wù)提供大量標(biāo)注樣本；其次，對于解不唯一的病態(tài)問題，即使提供大量的訓(xùn)練數(shù)據(jù)，深度學(xué)習(xí)方法也難以在測試數(shù)據(jù)上提供理想的估計，而機器人感知任務(wù)中所涉及的距離估計、模型重構(gòu)等問題就是典型的病態(tài)問題，其輸入中沒有包含對應(yīng)到唯一輸出的足夠信息。針對上述問題，本報告以提升深度學(xué)習(xí)泛化能力為目標(biāo)、以嵌入先驗知識的正則化方法為手段、以機器人環(huán)境感知為應(yīng)用背景進行了介紹。
總體上看目前劉勇教授研究內(nèi)容共有四項，分別是：
? 隱層正則約束：圖正則自編碼器
? 結(jié)構(gòu)正則約束：語義正則網(wǎng)絡(luò)
? 結(jié)構(gòu)正則約束：嵌套殘差網(wǎng)絡(luò)
? 輸出正則約束：深度移動立方體網(wǎng)絡(luò)
就目前的研究結(jié)果來說，正則化統(tǒng)一框架下深度學(xué)習(xí)性能有明顯的提升，在一系列機器人環(huán)境感知應(yīng)用上取得當(dāng)前領(lǐng)先表現(xiàn)。在接下來的工作中，劉勇教授團隊將專注于無監(jiān)督學(xué)習(xí)，定性與定量感知任務(wù)相結(jié)合，結(jié)合機器人聲學(xué)、觸覺等傳感器等內(nèi)容。
游科友是清華大學(xué)副教授、博導(dǎo)，國家優(yōu)青，國家青年千人。
本報告專注于分布式優(yōu)化算法等問題，隨著訓(xùn)練參數(shù)與樣本規(guī)模的的急激增長，深度學(xué)習(xí)在實際應(yīng)用系統(tǒng)中顯示出了巨大的應(yīng)用前景。分布式與并行優(yōu)化是指通過多求解器起來協(xié)作求解的一類優(yōu)化問題，其在大規(guī)模數(shù)值計算、機器學(xué)習(xí)、資源分配、傳感器網(wǎng)絡(luò)等有重要的研究意義和應(yīng)用價值，并成為了大規(guī)模優(yōu)化與學(xué)習(xí)中最具挑戰(zhàn)性的問題之一。本報告首先討論了分布式優(yōu)化的幾個典型難題；其次。以魯棒性凸優(yōu)化為例，提出了分布式原-對偶求解算法與分布式 Polyak 算法，并以嚴(yán)格證明了算法的有效性。
游科友老師團隊的在本報告中提到的主要內(nèi)容包括：
? 介紹分布式優(yōu)化的關(guān)鍵特征
? 他們設(shè)計的用來解決魯棒性凸優(yōu)化的分布式算法可以保證概率上最優(yōu)
? 他們設(shè)計了一個用于分布式優(yōu)化的分布式異步算法，并可以充分證明其收斂性? 他們設(shè)計了一個計算向量中心性的分布式算法，并可充分證明其收斂性
徐昕是國防科技大學(xué)教授、博導(dǎo)，國防科技卓越青年人才。
本報告專注于強化學(xué)習(xí)的優(yōu)化方法。以強化學(xué)習(xí) (reinforcement learning) 為代表的自主學(xué)習(xí)技術(shù)對于提升各類機器人系統(tǒng)的優(yōu)化決策與控制性能具有重要意義。在復(fù)雜不確定環(huán)境中機器人系統(tǒng)面臨諸多優(yōu)化決策與控制問題。面對這些問題，徐昕教授介紹了自評價學(xué)習(xí)在控制系統(tǒng)中的應(yīng)用，自評價學(xué)習(xí)控制中的特征表示方法，以及滾動優(yōu)化的方法。
以上是雷鋒網(wǎng) AI 科技評論全部報道，中國自動化學(xué)會第 5 期智能自動化學(xué)科前沿講習(xí)班。兩天時間，十位專家為大家?guī)Я耸志视指韶浭愕膱蟾?，對深度與寬度強化學(xué)習(xí)技術(shù)在游戲、機器人控制、參數(shù)優(yōu)化、機器視覺等領(lǐng)域中的成功應(yīng)用進行了深入介紹。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
