0
| 本文作者： 老王 | 2017-03-28 10:12 |
雷鋒網(wǎng)按：2016年無疑是深度學(xué)習(xí)最為火熱的一年，深度學(xué)習(xí)在語音、圖像、自然語言處理等領(lǐng)域取得非常突出的成果，成了最引人注目的技術(shù)熱點之一。雷鋒網(wǎng)也報道過多次關(guān)于Google、Facebook、微軟、百度在內(nèi)的各大技術(shù)巨頭都在不遺余力地推進(jìn)深度學(xué)習(xí)的研發(fā)和應(yīng)用。
2017年深度學(xué)習(xí)的勢頭依舊迅猛，并以更快的速度滲透在各個行業(yè)當(dāng)中，對世界產(chǎn)生深遠(yuǎn)影響。
深度學(xué)習(xí)不但使得機器學(xué)習(xí)能夠?qū)崿F(xiàn)眾多的應(yīng)用，而且拓展了人工智能的領(lǐng)域范圍，并使得機器輔助功能都變?yōu)榭赡堋Ｆ鋺?yīng)用領(lǐng)域正在加速滲透到很多領(lǐng)域，也催生了深度學(xué)習(xí)與其它應(yīng)用技術(shù)的加速融合。
為提升一線科研人員更加深入了解深度學(xué)習(xí)，中國電子學(xué)會于2017年3月25-26日在北京舉辦了“2017全國深度學(xué)習(xí)技術(shù)應(yīng)用大會”，中國電子學(xué)會林潤華副秘書長到會并講話。大會主席王亮研究員，大會副主席季向陽教授、俞俊教授主持了大會的專家報告。
會議邀請到了國內(nèi)深度學(xué)習(xí)技術(shù)領(lǐng)域的著名專家就深度學(xué)習(xí)技術(shù)的應(yīng)用和最新動態(tài)做特邀報告。與此同時，中國電子學(xué)會也請到了深度學(xué)習(xí)技術(shù)相關(guān)科研單位和高新技術(shù)企業(yè)，宣傳展示他們在深度學(xué)習(xí)技術(shù)領(lǐng)域的研究成果、新產(chǎn)品和市場化內(nèi)容。
出席此次活動的嘉賓有（按報告議程排序）：中國科學(xué)技術(shù)大學(xué)計算機學(xué)院陳恩紅教授、微軟亞洲研究院研究員楊奎元博士、浙江大學(xué)人工智能研究院所所長吳飛教授、IBM中國研究院研究總監(jiān)蘇中博士、北京大學(xué)數(shù)字媒體研究所副所長王亦洲教授，百度IDL技術(shù)方向負(fù)責(zé)人周杰、清華大學(xué)自動化系季向陽教授、今日頭條實驗室技術(shù)總監(jiān)王長虎教授、蘇州大學(xué)計算機學(xué)院副院長張民教授、NVIDIA中國區(qū)高性能計算及Applied Deep Learning 部門技術(shù)經(jīng)理賴俊杰博士、中國科學(xué)院計算機網(wǎng)絡(luò)信息中心副研究員趙地博士、華南理工大學(xué)二級教授金連文、格靈深瞳CTO鄧亞峰、中科院自動化所模式識別國家重點實驗室研究員黃凱奇博士。
以下為14位嘉賓在“2017全國深度學(xué)習(xí)技術(shù)應(yīng)用大會”中所做的報告，雷鋒網(wǎng)對大會進(jìn)行了全程報道：
首先，中國科學(xué)技術(shù)大學(xué)計算機學(xué)院陳恩紅教授做了《面向自然語言處理的深度學(xué)習(xí)方法及應(yīng)用》的報告，這次報告回顧和討論了深度學(xué)習(xí)在自然語言處理領(lǐng)域的最新研究進(jìn)展，然后重點介紹深度學(xué)習(xí)方法在彈幕語義表示，詩歌生成，實體蘊含關(guān)系識別，試題難度預(yù)測的相關(guān)應(yīng)用。
人工智能需要大量的人工，包括標(biāo)注大量訓(xùn)練數(shù)據(jù)，設(shè)計數(shù)據(jù)表征、模型等。深度學(xué)習(xí)將數(shù)據(jù)表征融進(jìn)了模型的端到端學(xué)習(xí)，在大量任務(wù)中學(xué)得了遠(yuǎn)優(yōu)于專家設(shè)計的數(shù)據(jù)表征，釋放了這部分的人工投入，然而標(biāo)注訓(xùn)練數(shù)據(jù)仍然需要大量的人工。
針對這一問題，微軟亞洲研究院研究員楊奎元博士發(fā)表了《基于大規(guī)模弱標(biāo)注數(shù)據(jù)的深度學(xué)習(xí)》的報告，楊奎元博士指出：為進(jìn)一步減少這一部分的人工，他們團隊對弱標(biāo)注數(shù)據(jù)下的深度學(xué)習(xí)進(jìn)行了一些探索。隨著所要求監(jiān)督信息的減弱，可用訓(xùn)練數(shù)據(jù)會大量增加。同時，深度模型已經(jīng)具有了很好的推廣能力，研究員們可用深度模型代替人工對弱標(biāo)注數(shù)據(jù)自動進(jìn)行強標(biāo)注，生成更高質(zhì)量的訓(xùn)練數(shù)據(jù)，從而訓(xùn)練更好的模型。
近年來，以數(shù)據(jù)驅(qū)動為核心的深度學(xué)習(xí)通過逐層抽象方式形成原始數(shù)據(jù)區(qū)別性表達(dá)，在自然語言、語音和計算機視覺等領(lǐng)域取得了顯著進(jìn)展。但是，這一任務(wù)式、刺激式的學(xué)習(xí)機制依賴于大量標(biāo)注數(shù)據(jù)，如何形成解釋性強、數(shù)據(jù)依賴靈活和知識引導(dǎo)的模型和方法，是人工智能下一步發(fā)展面臨主要挑戰(zhàn)之一。
浙江大學(xué)人工智能研究院所所長吳飛教授發(fā)表報告：《序列學(xué)習(xí)——數(shù)據(jù)驅(qū)動與知識引導(dǎo)相結(jié)合的人工智能模型與方法》，對這一挑戰(zhàn)問題的若干思考以及在知識圖譜構(gòu)建、Q-A問答和序列學(xué)習(xí)等方面的一些研究工作。
深度學(xué)習(xí)的能力來自于帶有標(biāo)注信息的大數(shù)據(jù)學(xué)習(xí)樣本同深層神經(jīng)元網(wǎng)絡(luò)在復(fù)雜特征空間上泛化能力這兩方面的完美結(jié)合。深層神經(jīng)元網(wǎng)絡(luò)實質(zhì)上是基于人們對于腦的初步認(rèn)識基礎(chǔ)上的一種仿生模擬，深度學(xué)習(xí)在一些應(yīng)用的突破從一個側(cè)面展示了腦機理的研究對于智能技術(shù)發(fā)展的重要性。
IBM中國研究院研究總監(jiān)蘇中博士針對腦機理這一議題，發(fā)表了《Computing Future:Brain Inspired and Quantum》報告，蘇中博士提到，智能的本質(zhì)來源于腦的工作機理，我們對于腦不斷的認(rèn)識、不斷的理解，應(yīng)用到我們的計算技術(shù)中，這就是腦啟發(fā)計算，也是IBM認(rèn)知計算中一個重要的方向。
有了深度學(xué)習(xí)之后，對傳統(tǒng)的計算機視覺研究造成了一定的沖擊，這之后，視覺的機理和特點會是未來研究的一大方向。北京大學(xué)數(shù)字媒體研究所副所長王亦洲博士在大會中講解了《基于自主學(xué)習(xí)的視覺搜索與導(dǎo)航》這一報告。
深度學(xué)習(xí)近兩年的成功離不開他在工業(yè)界中的大量應(yīng)用，百度IDL深度學(xué)習(xí)技術(shù)方向負(fù)責(zé)人周杰根據(jù)他在工業(yè)界的經(jīng)驗，在大會中作了以《深度學(xué)習(xí)這兩三年》為主題的報告，內(nèi)容包括優(yōu)化算法、模型設(shè)計、并行工程、語言理解、長短記憶時序模型、注意力模型、語義角色標(biāo)注、機器翻譯、蜂巢廣告觸發(fā)、卷積神經(jīng)網(wǎng)絡(luò)、時序神經(jīng)網(wǎng)絡(luò)、Image Caption和Image QA等。
隨后，清華大學(xué)自動化系季向陽教授在大會中做了《物體檢測與分割深度學(xué)習(xí)的發(fā)展及應(yīng)用》的報告，季向陽教授首先介紹全卷積網(wǎng)絡(luò)在語義分割與實例掩模研究方面的進(jìn)展，之后介紹面向?qū)嵗P(guān)聯(lián)語義分割任務(wù)的端到端全卷積網(wǎng)絡(luò)解決方案。該網(wǎng)絡(luò)結(jié)構(gòu)具有高度的集成性和高效性，可以聯(lián)合執(zhí)行實例預(yù)測和分類，其中的卷積表示層可以被兩子任務(wù)所共享，從而在分割的精度和效率性能上取得良好的效果。進(jìn)一步從全光函數(shù)定義出發(fā)，探討如何從傳統(tǒng)單一維度成像拓展到多維耦合成像與解耦重建的計算攝像，實現(xiàn)多維多尺度的傳感成像方法。最后，針對雷達(dá)、定位信息（GPS，里程計，慣導(dǎo)等）等具有多傳感信息的自動駕駛平臺，介紹端到端視覺系統(tǒng)學(xué)習(xí)中目標(biāo)（如紅綠燈、車道線與行人等）的識別與檢測算法以及相應(yīng)的硬件實現(xiàn)。
系統(tǒng)地研究如何把一個訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)變化成為一個新的網(wǎng)絡(luò)，并且保持原有神經(jīng)網(wǎng)絡(luò)的功能完全不變，該過程定義為網(wǎng)絡(luò)變形。
針對網(wǎng)絡(luò)變形的主題，今日頭條人工智能實驗室技術(shù)總監(jiān)王長虎博士發(fā)表報告：《網(wǎng)絡(luò)變形：一種新的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)理念》，王長虎介紹到：在父網(wǎng)絡(luò)變形之后，我們期望得到的子網(wǎng)絡(luò)能夠完整繼承父網(wǎng)絡(luò)的知識，同時在更短的時間里繼續(xù)增長為一個更強大的網(wǎng)絡(luò)。這種網(wǎng)絡(luò)變形的第一個要求是它能夠處理各種網(wǎng)絡(luò)變化的能力，包括深度的變化，寬度的變化，內(nèi)核大小的變化，甚至是整個子網(wǎng)絡(luò)的變化。為了滿足這個要求，我們首先引入網(wǎng)絡(luò)變形方程，然后為所有這些變化類型提出了變形算法。這些變形算法對于經(jīng)典神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)都適用。網(wǎng)絡(luò)變形的第二個要求是它能夠處理神經(jīng)網(wǎng)絡(luò)中非線性的能力。為此，我們提出了參數(shù)激活函數(shù)族的概念，以幫助任何非線性連續(xù)激活神經(jīng)元函數(shù)的變形。實驗結(jié)果顯示，我們提出的網(wǎng)絡(luò)變形的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)理念在標(biāo)準(zhǔn)數(shù)據(jù)集和典型的神經(jīng)網(wǎng)絡(luò)上都是有效的。
自然語言理解和機器翻譯被認(rèn)為是人工智能的核心難題之一，那么什么是自然語言理解？其研究現(xiàn)狀、挑戰(zhàn)和未來的發(fā)展方向是什么？近兩三年來，深度學(xué)習(xí)技術(shù)使很多人工智能問題的準(zhǔn)確率得到顯著提升，那么深度學(xué)習(xí)技術(shù)為自然語言理解和機器翻譯帶來了哪些新的發(fā)展機遇？它又是如何解決自然語言理解和機器翻譯問題？下一步發(fā)展方向是什么？蘇州大學(xué)計算機學(xué)院副院長張民教授發(fā)表報告：《面向自然語言理解和機器翻譯的深度學(xué)習(xí)》。
GPU作為人工智能計算的基礎(chǔ)，其核心生產(chǎn)商NVIDIA也自然隨著人工智能的火熱進(jìn)入了井噴式的發(fā)展期。此次大會中，NVIDIA中國區(qū)高性能計算及Applied Deep Learning部門技術(shù)經(jīng)理賴俊杰博士在大會中做了《深度學(xué)習(xí)應(yīng)用到視頻智能處理的產(chǎn)品化實踐》的報告。
3月25日最后的報告主題是《深度學(xué)習(xí)與醫(yī)療影像大數(shù)據(jù)分析》，由中國科學(xué)院計算機網(wǎng)絡(luò)信息中心副研究員趙地博士講述。趙地博士說道，醫(yī)療大數(shù)據(jù)主要包括電子病歷（Electronic Health Record）數(shù)據(jù)，醫(yī)學(xué)影像數(shù)據(jù)，基因信息數(shù)據(jù)等。其中，醫(yī)學(xué)影像數(shù)據(jù)占現(xiàn)階段醫(yī)療數(shù)據(jù)的絕大部分。如何將醫(yī)療大數(shù)據(jù)運用于臨床實踐？這是醫(yī)學(xué)和計算機研究人員都很關(guān)心的問題，而智能影像與深度學(xué)習(xí)提供了一個很好的答案。報告結(jié)合醫(yī)學(xué)影像大數(shù)據(jù)分析的最新研究進(jìn)展和本課題組在醫(yī)學(xué)影像大數(shù)據(jù)分析領(lǐng)域的工作，特別是在阿爾茨海默病的核磁共振早期診斷為例，介紹了智能影像和深度學(xué)習(xí)在醫(yī)療大數(shù)據(jù)分析與疾病早期診斷領(lǐng)域的應(yīng)用。
3月26日的第一場報告是由華南理工大學(xué)金連文教授演講，主題為《深度學(xué)習(xí)及其在文字識別中的應(yīng)用實踐》。在此報告中，金連文簡要回顧了深度學(xué)習(xí)的主要技術(shù)及其在圖像識別、文字識別等方面一些最新研究進(jìn)展，同時介紹基于 Path Signature 及深度學(xué)習(xí)的手寫文字識別新方法，以及面向文字識別的DropSample、DropSegment等深度學(xué)習(xí)訓(xùn)練技術(shù)，并展示了基于深度學(xué)習(xí)的幾個應(yīng)用演示系統(tǒng)，包括在線大類別文字識別、人臉美麗顏值打分、面向特定領(lǐng)域的OCR在線識別應(yīng)用等演示系統(tǒng)。
作為AI創(chuàng)業(yè)公司的代表之一，格靈深瞳的CTO鄧亞峰也在大會中發(fā)表報告《計算機視覺大規(guī)模應(yīng)用的必經(jīng)之路》，鄧亞峰首先介紹了計算機視覺的研究目標(biāo)、應(yīng)用趨勢及面臨的挑戰(zhàn)和機遇，其次，就如何讓深度學(xué)習(xí)和數(shù)據(jù)形成良好循環(huán)、深度學(xué)習(xí)遇到depth、讓“感”和“知”互動起來、少即是多、由感知到行動等闡述自己的認(rèn)識，最后，提出計算機視覺大規(guī)模應(yīng)用的必經(jīng)之路。
中科院自動化所模式識別國家重點實驗室研究員黃凱奇博士在大會最后做了以《基于深度表達(dá)學(xué)習(xí)的RGB-D物體識別及場景理解》為題的報告。黃凱奇博士提到：近十年來，基于RGB圖片的2D語義理解一直占據(jù)最主流的研究方向。由于RGB圖片在物體或場景表達(dá)中很容易受到外界光線變化以及背景嘈雜的影響，極大的限制了基于RGB圖片的計算機算法在實際中的運用。近幾年來，隨著深度傳感技術(shù)的發(fā)展，像微軟的Kinect，能夠同時捕捉到高精度的深度圖片以及RGB圖片，結(jié)合兩者很好的彌補了傳統(tǒng)的單一RGB圖片的上述缺陷，為魯棒性好、精度高的物體識別與場景理解提供了可能性，也極大的推動了基于RGB-D的物體識別及場景理解的研究與應(yīng)用。報告從以下幾個方面展開：1）探討RGB-D的特征表達(dá)與學(xué)習(xí)，包括人工設(shè)計特征、無監(jiān)督學(xué)習(xí)特征以及深度學(xué)習(xí)特征；2）探討RGB-D的模態(tài)融合；3）介紹RGB-D在物體識別及場景理解的相關(guān)應(yīng)用及進(jìn)展。
中國電子學(xué)會主辦的“2017全國深度學(xué)習(xí)技術(shù)應(yīng)用大會”在3月26日中午結(jié)束，正如14位嘉賓在報告中所傳達(dá)的觀念一樣：深度學(xué)習(xí)的出現(xiàn)對很多傳統(tǒng)的研究方法造成了一定的沖擊，這時候，順勢而為地應(yīng)用深度學(xué)習(xí)是符合時宜的選擇。與此同時，研究者們也可以把精力投入到其他更深層次的研究中去。而此次大會無疑把深度學(xué)習(xí)的應(yīng)用案例以及深度學(xué)習(xí)時代的新研究方向傳遞給了更多人。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
