1
雷鋒網(wǎng)AI科技評論消息，2017年10月19日微軟亞洲研究院 聯(lián)合 哈爾濱工業(yè)大學共同在哈爾濱市舉辦了第19屆“21世紀的計算” 大型國際學術研討會（21CCC 2017）。
“二十一世紀的計算”學術研討會是微軟亞洲研究院自創(chuàng)立之初便開始舉辦的年度學術盛會，每年都吸引著無數(shù)計算機科學領域?qū)W者們的目光。作為中國及亞太地區(qū)規(guī)模最大、最具影響力的計算機科學教育與研究盛會之一，該大會已在中國、日本、韓國、新加坡等多個國家和地區(qū)成功舉辦了18屆。
本次大會的主題為“人工智能，未來之路”，并邀請了包括圖靈獎獲得者John Hopcroft在內(nèi)的多位世界級計算機領域?qū)＜曳窒硭麄冊贏I領域的研究和觀點。現(xiàn)場有超過1500名高校師生參與。
下面內(nèi)容為雷鋒網(wǎng)記者根據(jù)幾位嘉賓的現(xiàn)場報告和微軟亞洲研究院資深研究員秦濤博士的解讀整理而成，附加有雷鋒網(wǎng)現(xiàn)場拍攝的PPT，以饗諸位。
Peter Lee認為，雖然目前人工智能已經(jīng)到達了一種前所未有的科技高度，但是創(chuàng)造和部署這樣的人工智能應用并非易事，需要大量的專業(yè)知識和手動設計的解決方案。所以目前AI開發(fā)還嚴重依賴經(jīng)過訓練的AI“手工藝人”或者“工匠”。因此，在這個意義上，可以說我們還正處于“手工AI”的時代。
Peter提到十九世紀歐洲工業(yè)設計領域工藝美術運動的創(chuàng)始人William Morris，William認為所有的人都應該可以接觸到美好的東西，但是創(chuàng)作過程對手工藝人的依賴又阻礙了藝術的普及化。正如中國古代的絲綢、玉器一樣，正是由于熟練工匠的缺乏導致這些東西價值不菲。
Peter以活字印刷為例。在這項發(fā)明之前，歐洲的書籍都以手抄的形式傳播。隨著中國的這項技術傳入歐洲，在十五世紀中期，在短短的50年中，整個歐洲的書籍數(shù)量就從3萬本增長到一千兩百萬本。這一變化對當時的社會制度是破壞性的。教堂無法繼續(xù)壟斷書籍，新的知識表現(xiàn)形式層出不窮，而人們對教育的期望也從根本上發(fā)生了改變。Peter認為，從某種意義上來說，我們面臨的AI對人類社會的當前結(jié)構也將是破壞性的，AI將和活字印刷機一樣改變?nèi)祟悮v史。但是我們還需要從“手工AI”的時代往前走，創(chuàng)造出人人皆可用的AI技術。
Peter介紹，微軟當前正在著手這樣的工作，以讓更多的人便捷地使用AI技術。他向大家展示了微軟搭建的基于云的AI平臺。其中The Bot Framework可以幫助開發(fā)者便捷地搭建聊天機器人，Cognitive Services讓開發(fā)者方便地將AI嵌入到每個APP中，Azure Machine Learning則可以幫助你從零開始進行數(shù)據(jù)研究以及創(chuàng)建AI應用。這個平臺有較為先進的數(shù)據(jù)服務以及最新的硬件設備，支持所有主流開源的機器學習框架，具有良好的擴展性。
在本演講中，康奈爾大學計算機系教授、1986年圖靈獎獲得者John Hopcroft帶領大家回顧了機器學習的基礎知識，并分享了一些深度學習領域中比較有趣的研究問題。
John從最簡單的線性分類器（感知器）算法講起。隨后介紹了在數(shù)據(jù)線性不可分情況下把樣本映射到更高維空間的研究，包括核函數(shù)等，這種情況下支持向量機的出現(xiàn)極大地促進了這方面的研究。在支持向量機之后，機器學習的下一個大的發(fā)展就是深度學習。隨著深度神經(jīng)網(wǎng)絡的引入，特別是卷積神經(jīng)網(wǎng)絡（卷積神經(jīng)網(wǎng)絡，由卷積層、池化層、全連接層組成，最后是softmax輸出每個類別的概率）的引入，圖像分類等方面的錯誤率逐年下降，在2015年微軟亞研院提出的152層深度殘差網(wǎng)絡（ResNet）在圖像分類中超過了人的識別水平。
但是在這方面還有很多問題值得研究，例如每個門學習的是什么、怎樣讓第二層的門與第一層的門學習不同的信息、怎樣讓一個門學習的內(nèi)容隨時間演化、用不同的初始權重門學習的是否是相同的內(nèi)容、用不同的圖像集訓練兩個網(wǎng)絡早期的門學習的是否相同等等。
此外，在訓練一個深度網(wǎng)絡時，可能會有許多局部極小值，有些極小值可能會比其他的好。如何保證我們在訓練的過程中能夠找到一個好的局部極小值呢？訓練深度網(wǎng)絡往往會花費很長的時間，我們是否可以加速訓練呢？這些也都是非常有意義的研究方向。
隨后John考慮了當訓練兩個網(wǎng)絡時會出現(xiàn)什么有趣的研究。對于兩個網(wǎng)絡，我們可以同時訓練，也可以一先一后。
這兩種情況，兩個網(wǎng)絡在激活空間里是否共享相同的區(qū)域呢？
一個當前比較火的例子就是生成式對抗網(wǎng)絡（GAN），這個網(wǎng)絡屬于一先一后的情況。
最后John提出了一個問題：人工智能是真的嗎？他認為，現(xiàn)在的人工智能只是高維空間中的模式識別，AI還不能提取出一個事物的本質(zhì)或者理解它的功能。在John看來，要想實現(xiàn)這一點，只是需要另外40年的時間。
他還說到，其實很多現(xiàn)在看來是智能的任務其實都不是AI，有些只需要強大的計算以及大數(shù)據(jù)就足夠了，例如棋類比賽。計算機正在做越來越多的人們以為需要智能的事情，實際上有些并不是AI。所以我們在從事人工智能相關的工作時要想一想，這個問題的核心的是AI嗎？還是僅僅需要大計算而已？
圖數(shù)據(jù)是 Lise Getoor教授一直以來的研究對象。Lise Getoor教授認為，我們正處于數(shù)據(jù)爆炸的時代，圖數(shù)據(jù)無處不在。然而，數(shù)量并不代表質(zhì)量，大數(shù)據(jù)分析的挑戰(zhàn)之一就在于如何能夠合理利用大型、異構、不完整且?guī)в性胍舻募蓴?shù)據(jù)進行合理推論。
在演講中，Lise Getoor教授首先給我們介紹了一些圖數(shù)據(jù)所需的常見推理模式。
例如為缺失標簽的節(jié)點做標簽預測的協(xié)同分類（collective classification），給出數(shù)據(jù)里隱含的連接節(jié)點的邊的連接預測（link predictions），以及判斷兩個節(jié)點是否為同一實體并進行合并的實體分辨（entity resolution）。
隨后她像我們介紹了用于解決這些重要問題的一種工具——概率軟邏輯（probabilistic softlogic ( PSL )，psl.linqs.org）。
最后她向我們展示了PSL應用的一些案例，例如政治辯論立場分類、混合推薦系統(tǒng)、藥物研究、垃圾郵件檢測等。
首先Raymond教授簡單回顧了機器學習的歷史，從單層神經(jīng)網(wǎng)絡到符號AI和知識工程，到多層神經(jīng)網(wǎng)絡和符號學習，到統(tǒng)計學習和核方法，再到近年來的深度學習。
1957年，弗蘭克?羅森布拉特（Frank Rosenblatt）提出感知器算法。感知器就是一個最簡單的神經(jīng)網(wǎng)絡，只有輸入層和輸出層，沒有隱藏層。感知器利用爬山法從訓練樣本中進行學習更新參數(shù)。只有當樣本線性可分的時候，感知器才能進行學習；很多分類的函數(shù)感知器并不能學習，例如XOR。
1969年，馬文?明斯基（Marvin Minsky）和西摩爾?帕普特（Seymour Papert）發(fā)表了《Perceptrons: An Introduction to Computational Geometry》，書中描述了簡單神經(jīng)網(wǎng)絡也就是感知器的局限性。此后七十年代到八十年代初期，神經(jīng)網(wǎng)絡方面的研究陷入了低谷。
上個世紀80年代中期連接主義的興起導致了神經(jīng)網(wǎng)絡的復興，這一時期反向傳播算法被用來訓練3層神經(jīng)網(wǎng)絡（包含輸入層輸出層以及一個隱藏層）。但是，通用反向傳播算法并不能很好的推廣到更深的網(wǎng)絡，并且其方法也缺乏理論基礎，因此1995-2010這15年間神經(jīng)網(wǎng)絡的研究陷入了第二次低谷，這一時期機器學習研究的興起轉(zhuǎn)移到概率圖模型和以支持向量機為代表的核方法。
2010年以后，隨著更好的深度神經(jīng)網(wǎng)絡訓練方法的提出，神經(jīng)網(wǎng)絡又卷土重來。深度學習“革命”，Raymond用“革命”一詞來形容深度學習的影響之大。深度學習在幾大方面取得了成功，包括計算機視覺（主要歸功于卷積神經(jīng)網(wǎng)絡CNNs）、機器翻譯和語音識別（主要歸功于循環(huán)神經(jīng)網(wǎng)絡RNNs）以及視頻和棋牌游戲（得益于深度強化學習）。
近年來深度學習的推動力除了前面提到的更好的訓練算法和模型，還有兩個方面：大規(guī)模有標注的訓練數(shù)據(jù)和強大的計算力（如GPU）。大數(shù)據(jù)、大模型、大計算是深度學習成功的三大支柱因素，但它們同時也為深度學習的進一步發(fā)展和普及帶來了一些制約因素?，F(xiàn)在深度學習面臨一些新的挑戰(zhàn)，包括（1）如何從無標注的數(shù)據(jù)里學習，（2）如何降低、壓縮模型大小，（3）全新的硬件設計、算法設計、系統(tǒng)設計來加速深度神經(jīng)網(wǎng)絡的訓練和使用，（4）如何與知識圖譜、邏輯推理、符號學習相結(jié)合像人一樣從小樣本進行有效學習，（5）如何在復雜的動態(tài)系統(tǒng)里進行博弈機器學習。
隨后Raymond教授簡單介紹了卷積神經(jīng)網(wǎng)絡、循環(huán)神經(jīng)網(wǎng)絡以及深度強化學習的基本內(nèi)容，并分析了為什么在人工智能領域，科學家總是熱衷于讓AI跟人類下棋，玩游戲？
從簡單的跳棋、五子棋，到更加復雜的中國象棋、國際象棋，以及最近非常熱門的圍棋和德州撲克，每次AI在某個智力游戲上成功地擊敗人類選手，便會讓大家唏噓不已，慨嘆AI會在不久的將來取代人類。而科學家之所以樂于選擇棋類游戲，一方面是因為它們自古以來就被認為是人類智力活動的象征，模擬人類活動的AI自然要以此為目標。成功達到人類甚至高于人類水平，可以吸引更多人關注并投身于人工智能的研究和應用中來。另一方面，棋類也很適合作為新的AI算法的標桿（Benchmark）。棋類游戲的規(guī)則簡潔明了，輸贏都在盤面，適合計算機來求解。理論上只要在計算能力和算法上有新的突破，任何新的棋類游戲都有可能得到攻克。一個會下棋的AI也并非科學家的終極目標，其更積極的意義在于，AI算法在研究棋藝的過程中不斷精進和提升，會帶來更多設計上的創(chuàng)新，從而在根本上提升人工智能算法的能力和適用范圍。
Raymond教授認為機器學習、神經(jīng)網(wǎng)絡等有著悠久的歷史，深度學習也取得了很多成績，并且還將取得更多成績，但現(xiàn)在深度學習的能力被過度夸大了，其有著明顯的局限性，還不能真正解決AI問題。Raymond認為我們不能過于滿足和夸大當前的成績，AI的核心問題尚未解決，未來的路還很長。
身處大數(shù)據(jù)時代，我們對高效算法的需求比先前任何時候都要突出。滕尚華教授指出，大數(shù)據(jù)將我們帶入我們先驅(qū)者所設想的漸近世界，但問題規(guī)模的爆炸式增長也對經(jīng)典算法的有效性提出挑戰(zhàn)：根據(jù)多項式時間表征，以前被認為有效的算法可能不再適用，有效的算法應該是可擴展的。換句話來說就是，問題的復雜性就問題的大小而言，應當是線性的或近似線性的。因此可擴展性應該被提升為用于表征高效運算的中心復雜性概念。而設計具有可擴展性的算法，需要借助一些技巧，例如拉普拉斯范式。這類技巧包括局部網(wǎng)絡探索、高階抽樣法、稀疏化以及圖分割等。此外還包括譜圖理論方法，如用于計算電流和在高斯-馬爾可夫隨機場中取樣等。這些方法體現(xiàn)了網(wǎng)絡分析中組合、數(shù)值和統(tǒng)計思維的融合。滕尚華教授在演講中，通過一些基本的網(wǎng)絡分析問題解釋了這些技巧的應用，特別是在社會和信息網(wǎng)絡中確定重要的節(jié)點和連貫的社區(qū)中的應用。
雷鋒網(wǎng)注：由于此時記者正在采訪其中一位嘉賓，沒能聆聽滕尚華教授的報告內(nèi)容，深表遺憾。
在本演講中，洪小文博士將介紹微軟亞洲研究院在幫助機器學習方面取得的最新成果，例如對偶學習和自生成數(shù)據(jù)學習。此外，他還強調(diào)了機器學習目前面臨的一些重要挑戰(zhàn)。
洪小文博士表示近年來，機器學習在計算機視覺、語音和自然語言處理等領域取得了長足的進步。隨著人工智能對社會的影響越來越大，更多挑戰(zhàn)需要人們?nèi)パ芯俊⑷スタ?，因此無論是對人類還是機器來說，我們都進入了持續(xù)學習的時代：從“無所不知”到“無所不學”。
對于計算機而言，學習需要時間、數(shù)據(jù)和老師，而深度學習則需要大規(guī)模的標記數(shù)據(jù)。數(shù)據(jù)標記的成本非常高，并且在很多應用場景中，獲取大量標記數(shù)據(jù)已是難題（例如罕見疾病、少數(shù)民族語言等）。為了降低對大規(guī)模標注數(shù)據(jù)的依賴性，微軟亞洲研究院的研究員提出了一種新的學習范式——對偶學習。
很多人工智能的應用涉及兩個互為對偶的任務。例如，機器翻譯中從中文到英文翻譯和從英文到中文的翻譯互為對偶，語音處理中語音識別和語音合成互為對偶，圖像理解中基于圖像生成文本和基于文本生成圖像互為對偶等等。這些互為對偶的任務可以形成一個閉環(huán)，使從沒有標注的數(shù)據(jù)中進行學習成為可能。
對偶學習的最關鍵一點在于，給定一個原始任務模型，其對偶任務的模型可以給其提供反饋。同樣的，給定一個對偶任務的模型，其原始任務的模型也可以給該對偶任務的模型提供反饋，從而這兩個互為對偶的任務可以相互提供反饋，相互學習、相互提高。
洪小文博士表示除了機器翻譯，對偶學習還可以用于訓練圖像分類生成、情感分析等多個研究領域。
介紹完對偶學習，洪小文博士開始探討在多個領域展示出優(yōu)勢的卷積神經(jīng)網(wǎng)絡CNN是否同樣適用于3D圖形領域。和其他學習任務一樣，訓練CNN需要大規(guī)模的數(shù)據(jù)，保證大量的圖片輸入和與之對應的材質(zhì)屬性。而數(shù)據(jù)采集需要非常多復雜的設備支持、相對更長的采集時間，同時要求大量的手工工作，這其中的成本是相當高昂的。
為了利用這些海量的未標定的照片來進行機器學習，我們設計了自增強訓練的方法(Self-augmented training)。自增強訓練采用了一種特殊的CNN訓練方式，區(qū)別于傳統(tǒng)利用標注的輸入輸出對作為訓練數(shù)據(jù)的訓練方法，自增強訓練利用當前尚未訓練好的CNN來對未標定的數(shù)據(jù)進行測試。
當然，由于現(xiàn)在CNN還沒有訓練好，測試結(jié)果肯定不能作為正確的標定用來訓練。但是，我們對材質(zhì)屬性估計這個問題的逆問題，具有完整的知識。因此，可以用這個中間測試結(jié)果得到的材質(zhì)屬性，配合現(xiàn)有的材質(zhì)渲染程序，生成一個當前中間結(jié)果的材質(zhì)屬性和其對應的渲染結(jié)果（照片）的數(shù)據(jù)對，這一數(shù)據(jù)對是完好保持紋理照片和紋理屬性這一對應關系的“正確標定數(shù)據(jù)對”，因此我們就可以放心地利用這一自增強出來的數(shù)據(jù)來進行訓練。
除機器進行自身學習以外，人類同樣需要提升自己的技能。
洪小文博士表示機器還可以在多方面幫助人們學習，例如提供學習建議和案例，作為語言學習的輔助手段。AI還可以有藝術創(chuàng)造力：創(chuàng)作詩歌、歌詞以及音樂，對圖片進行風格轉(zhuǎn)換等。
微軟小英
首先，洪小文博士介紹了微軟小英。它可以幫助初學者快速建立日常英語溝通能力，幫助英語學習者完善發(fā)音，熟練口語。微軟小英融合了語音識別、語音合成、自然語言理解、機器翻譯、機器學習、大數(shù)據(jù)分析等人工智能前沿技術。
小英的口語評測系統(tǒng)搭建在一個由機器學習訓練成的神經(jīng)網(wǎng)絡的語音識別系統(tǒng)上，基本處理流程是利用語音識別模型，根據(jù)跟讀文本對用戶的錄音進行音素層級的切分。每一個小單元再和其相應的標準發(fā)音模式進行匹配，發(fā)音越標準則匹配越好，得分也越高。系統(tǒng)中各個標準發(fā)音的模型是深層神經(jīng)網(wǎng)絡在幾百個發(fā)音標準的美式英語數(shù)據(jù)庫中訓練而成的。
微軟小冰
隨后，在AI的藝術創(chuàng)造方面，洪小文博士介紹了微軟小冰的寫詩能力。據(jù)介紹，小冰寫詩，主要是運用了生成式對抗網(wǎng)絡（GAN）。
簡單來說就是，有一個詩歌生成模型（generator），它的目標是生成一首接近于人類創(chuàng)作的詩歌；與此同時我們有一個詩歌判別模型（discriminator），它的目標是能夠正確判別一首詩是機器生成出來的還是人類寫的。詩歌生成模型和判別模型之間進行博弈，直至生成模型與判別模型無法提高自己——即判別模型無法判斷一首詩是生成出來的還是真實的而結(jié)束。小冰于今年出版了第一本現(xiàn)代詩集《陽光失了玻璃窗》，洪小文博士現(xiàn)場展示了小冰創(chuàng)作的詩 。
除了作詩，她還能根據(jù)詩詞譜音，創(chuàng)作一首歌曲。
風格遷移
此外，洪小文博士還介紹了深度學習運用到圖片風格遷移的研究。他們利用卷積神經(jīng)網(wǎng)絡分解內(nèi)容圖片和風格圖片的特點，然后加以融合。微軟亞研院的研究員在CVPR 2017上發(fā)表了一種新的風格遷移算法，該算法對圖像的風格提供了一種顯式的表達“風格基元”（styleBank），通過對不同風格的圖片使用不同的“風格基元”，再用簡單的自解碼器模型（auto-encoder）便可以實現(xiàn)不同風格的遷移。目前這項風格遷移技術已經(jīng)被應用到最新的相機應用Microsoft Pix iOS版， 允許用戶將照片的紋理、圖案和色調(diào)轉(zhuǎn)化成所選定的風格，使之成為一件獨特的創(chuàng)作作品。
洪小文博士補充道，除上述算法以外，微軟亞洲研究院的研究員們還提出了一個端到端 ( end-to-end ) 的在線視頻風格遷移模型 ( Coherent Online Video Style Transfer )。
這個模型在處理相鄰幀的連續(xù)性的做法是：對于可追蹤的區(qū)域，用前一幀對應區(qū)域的特征以保證連續(xù)性，而對于遮擋區(qū)域，則用當前幀的特征，最后得到既連續(xù)又沒有重影的風格化結(jié)果。
而對于更為精確和精致的視覺特征轉(zhuǎn)化，需要建立圖像間的語義對應。微軟亞研院的研究員們提出了一種新的算法，結(jié)合圖像對偶技術（Image Analogy）和深度神經(jīng)網(wǎng)絡（DNN），為內(nèi)容上相關但視覺風格迥異的兩張圖像之間建立起像素級的對應關系，從而實現(xiàn)精確地視覺特征遷移。
最后洪小文博士總結(jié)到：人類和機器都進入了持續(xù)學習的時代：從“無所不知”到“無所不學”；學習過程永遠需要時間、數(shù)據(jù)和老師，而在學習過程中，機器和人類將一同共進化；對偶學習等新的方法讓缺乏大量標記數(shù)據(jù)的機器學習成為可能；Encoder-decoder DNN 以及 GAN等神經(jīng)網(wǎng)絡讓機器有了藝術創(chuàng)造力；人類可以利用機器更好地學習。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
