雷鋒網(wǎng)按：2018 全球人工智能與機(jī)器人峰會（CCF-GAIR）在深圳召開，峰會由中國計算機(jī)學(xué)會（CCF）主辦，雷鋒網(wǎng)、香港中文大學(xué)（深圳）承辦，得到了深圳市寶安區(qū)政府的大力指導(dǎo)，是國內(nèi)人工智能和機(jī)器人學(xué)術(shù)界、工業(yè)界及投資界三大領(lǐng)域的頂級交流盛會，旨在打造國內(nèi)人工智能領(lǐng)域最具實力的跨界交流合作平臺。      

7月1日，在“AI芯片專場”，英特爾首席研究員、英特爾中國研究院認(rèn)知計算實驗室主任陳玉榮帶來 “英特爾計算平臺助力人工智能發(fā)展”的主題演講。

陳玉榮介紹到深度學(xué)習(xí)的發(fā)展使得在特定任務(wù)領(lǐng)域，機(jī)器在視覺識別和語音識別方面已經(jīng)超過人類。此外，深度學(xué)習(xí)還廣泛應(yīng)用到其他領(lǐng)域解決現(xiàn)實世界的問題，包括健康醫(yī)療的腫瘤檢測、金融投資的文檔分類、能源行業(yè)的油氣田勘探、智能設(shè)備中的語音助手、工業(yè)應(yīng)用中的缺陷檢測和基因工程中的基因測序等。

但是，深度學(xué)習(xí)的部署是多方面的，深度學(xué)習(xí)的訓(xùn)練其實只是其中很小一部分，更重要的是理解整個解決方案是怎么運作的，以及怎么樣無縫的集成到更大的數(shù)據(jù)分析的流程里面去。

陳玉榮介紹了英特爾最廣泛的端對端人工智能計算平臺，包括通用芯片，深度學(xué)習(xí)定制加速器如Nervana神經(jīng)網(wǎng)絡(luò)處理器，F(xiàn)PGA，Movidius VPU，Mobileye EyeQ，GNA IP，集成顯卡等硬件，和各種軟件工具如OpenVINO、Movidius SDK、MKL-DNN、clDNN等，以及英特爾的前沿及前瞻性的研究，如何整合起來助力人工智能發(fā)展。 

以下為陳玉榮演講全文，雷鋒網(wǎng)進(jìn)行了不改變原意的編輯整理。

大家下午好！今天非常高興能參加這個論壇來介紹英特爾人工智能計算平臺和我們的相關(guān)研究工作。我今天更多的是講目前已有的計算平臺和我們正在做的研究。

什么是人工智能？人工智能的定義不斷演化，但其核心主要是講機(jī)器模擬和超越與人類心智相關(guān)的認(rèn)知功能的能力。人工智能包含有很多種不同的實現(xiàn)方法，以數(shù)據(jù)為中心的機(jī)器學(xué)習(xí)是一種最主要的方法，因為它在解決人工智能的三個主要子任務(wù)，包括感知、計劃/推理和控制方面取得了很好的效果。深度學(xué)習(xí)則是機(jī)器學(xué)習(xí)的一個子集，近年來成為人工智能發(fā)展的主要推動力。但并不是說別的方法不重要，像簡單神經(jīng)網(wǎng)絡(luò)、經(jīng)典機(jī)器學(xué)習(xí)算法、基于推理的系統(tǒng)，以及其它新興的算法，都非常重要。我相信人工智能最終一定是通過多種方法的融合來實現(xiàn)的。

在人工智能算法這塊，機(jī)器學(xué)習(xí)包含很多種統(tǒng)計和規(guī)劃算法，包括經(jīng)典的回歸、分類、聚類、決策樹、外推等算法，它們的優(yōu)點是適用于小數(shù)據(jù)，計算要求低，得到結(jié)論的透明度比較好，缺點是需要大量的人工設(shè)計，對于圖象識別這樣的復(fù)雜問題識別準(zhǔn)確率很低。近年來深度學(xué)習(xí)成為主流的算法，用來解決圖像語音識別、自然語言處理、模式識別等很多問題。它的準(zhǔn)確率很高，但它本身也有一些問題，比如，需要大量的數(shù)據(jù)訓(xùn)練，需要大量的計算資源；同時它缺乏理論基礎(chǔ)，也就是我們常說的黑箱問題，你不知道該怎么樣去設(shè)計一個好的神經(jīng)網(wǎng)絡(luò)。最后是容易被大家忽略的推理相關(guān)的算法，它們可以從不同的海量數(shù)據(jù)中發(fā)現(xiàn)相似性和檢測異常情況，可以用在反洗錢和檢測金融欺詐等應(yīng)用里面。

得益于深度學(xué)習(xí)的發(fā)展，在特定任務(wù)領(lǐng)域，機(jī)器在視覺識別和語音識別方面已經(jīng)超過人類。此外，深度學(xué)習(xí)還被廣泛應(yīng)用到其他領(lǐng)域解決現(xiàn)實世界的問題，包括健康醫(yī)療中的腫瘤檢測、金融投資里面用到的文檔分類、能源行業(yè)的油氣田勘探、智能設(shè)備中的語音助手、工業(yè)應(yīng)用中的缺陷檢測和基因工程里面的基因測序等。我們以工業(yè)應(yīng)用中的缺陷檢測為例來看看深度學(xué)習(xí)解決方案是如何開發(fā)的。

整體解決方案通常包括發(fā)現(xiàn)機(jī)會、設(shè)定假設(shè)、準(zhǔn)備數(shù)據(jù)、訓(xùn)練模型、部署模型、對解決方案進(jìn)行迭代和評估。我們采用一個真實客戶的案例，把深度學(xué)習(xí)解決方案的開發(fā)周期進(jìn)行了百分比細(xì)分。不同的深度學(xué)習(xí)解決方案在時間百分比細(xì)分上不太一樣，但是它們的步驟基本是一致的。你需要做數(shù)據(jù)的標(biāo)注、加載、增強(qiáng)，你要對DNN模型結(jié)構(gòu)做試驗，然后調(diào)試模型參數(shù)，最后還需要做推斷的支持和結(jié)果分享。虛線部分是計算密集型的模型訓(xùn)練部分，它非常重要，但是它只占了深度學(xué)習(xí)開發(fā)周期的很小一部分，大約30%左右。另外，大家可以看到深度學(xué)習(xí)的開發(fā)也只是整個解決方案開發(fā)的一小部分，很重要的是說你怎么樣使用IT的預(yù)算更快的部署人工智能解決方案，而不是花額外的錢來加速整體解決方案的一小部分。

還是用缺陷檢測這個例子，我們來看看一個真正的端對端深度學(xué)習(xí)解決方案是如何部署的。左邊是案例的功能布局圖，它用10個攝像頭來對生產(chǎn)設(shè)備進(jìn)行監(jiān)控，以檢測缺陷。最早要做的事情是人類的專家對有缺陷的圖片進(jìn)行標(biāo)注，產(chǎn)生很大的數(shù)據(jù)集，這樣就可以用來訓(xùn)練一個神經(jīng)網(wǎng)絡(luò)模型。訓(xùn)練好的模型被存儲和部署在系統(tǒng)上，來對后繼的視頻進(jìn)行推斷。發(fā)現(xiàn)缺陷時，會把推斷結(jié)果發(fā)送到服務(wù)層和解決方案層。推斷結(jié)果可以作為決策的依據(jù)，我們就可以采取一些行動，比如呼叫技術(shù)人員或者關(guān)閉生產(chǎn)線。從右邊的數(shù)據(jù)中心設(shè)計圖中，你可以看到里面有很多種硬件。這里想說的是，深度學(xué)習(xí)的部署是多方面的，深度學(xué)習(xí)的訓(xùn)練也只是其中很小一部分，更重要的是理解整個解決方案是怎么運作的，以及怎么樣無縫的集成到更大的數(shù)據(jù)分析的流程里面去。

我很贊同很多學(xué)者的說法，我們正處于人工智能計算時代的早期，或者說是黎明時期。英特爾不僅致力于為人工智能發(fā)展鋪平道路，而且在引領(lǐng)這一新興領(lǐng)域方面也處于最有利的位置。我們通過提供業(yè)界最全面的計算平臺，幫助用戶獲得更智能的結(jié)果，而所有這一切都是由用戶的需求和細(xì)分市場的需求來驅(qū)動的。使用人工智能第一步是要準(zhǔn)備好數(shù)據(jù)，我們和我們的很多合作伙伴提供很多種解決方案來存儲、處理和管理數(shù)據(jù)。作為全球領(lǐng)先的計算硬件廠商，我們的硬件支持從混合型到專用型，從云端到終端的最廣泛的AI應(yīng)用負(fù)載。除了硬件，軟件也是非常重要的。剛才魏老師（魏少軍）也說了，人工智能在某種意義上是軟件比硬件更重要。我們確保所有的英特爾硬件引擎具有通用的AI體驗，具有最大的一致性、互操作性和安全性。我們提供多種軟件工具組合來幫助加速AI解決方案的開發(fā)周期。除了硬件和軟件工具外，我們還采取基于社區(qū)和解決方案驅(qū)動的方法，以拓展AI和豐富每個人的生活。我們和我們的合作伙伴一起提供多種行業(yè)現(xiàn)成的解決方案，包括金融、健康、零售、工業(yè)、政府、能源等等。面向未來，我們通過領(lǐng)先的研發(fā)和投資，包括資助頂尖的學(xué)術(shù)研究，內(nèi)部研發(fā)和對領(lǐng)先創(chuàng)新者的投資，以及進(jìn)一步推動政策和道德領(lǐng)導(dǎo)力來繼續(xù)推動人工智能的發(fā)展。

在工具方面，英特爾投資于增值的AI軟件工具，來幫助大家用好英特爾的每一種硬件，簡化開發(fā)過程，最終縮短整體解決方案的開發(fā)時間。對于應(yīng)用開發(fā)者，我們提供了很多工具來提升性能和幫助加速解決方案的部署。針對深度學(xué)習(xí)，開源的OpenVINO和英特爾Movidius SDK 可以通過模型的轉(zhuǎn)換和優(yōu)化，提供針對英特爾各個目標(biāo)硬件優(yōu)化的深度學(xué)習(xí)推斷部署。我們也正在開發(fā)英特爾深度學(xué)習(xí)Studio，能夠幫助縮短端對端深度學(xué)習(xí)解決方案的開發(fā)周期（包括訓(xùn)練）。除了深度學(xué)習(xí)，英特爾Saffron AI還能夠提供認(rèn)知推理的解決方案，可以用于反洗錢和預(yù)測性維護(hù)的應(yīng)用。

對于數(shù)據(jù)科學(xué)家，我們致力于優(yōu)化一系列廣泛用于機(jī)器和深度學(xué)習(xí)的開源庫。目前已經(jīng)有一些機(jī)器學(xué)習(xí)庫可以充分利用英特爾硬件，包括Python 、R、分布式的一些庫。我們還對常用的深度學(xué)習(xí)框架直接做優(yōu)化，確保所有主要的深度學(xué)習(xí)框架和拓?fù)淠軌蛟谟⑻貭栍布线\行良好。目前已完成CPU優(yōu)化的框架包括Tensor flow 、MXNet、Caffe等，未來希望能夠通過英特爾nGraph編譯器實現(xiàn)更多的框架。對于庫開發(fā)者，我們提供了很多基礎(chǔ)構(gòu)建模塊，能夠充分利用英特爾的硬件。其中包括針對機(jī)器學(xué)習(xí)優(yōu)化的英特爾Python分發(fā)版以及包含機(jī)器學(xué)習(xí)的英特爾數(shù)據(jù)分析和加速庫DAAL，還有針對英特爾CPU和集成顯卡優(yōu)化的DNN基礎(chǔ)函數(shù)庫MKL-DNN和clDNN，這兩個庫對于深度學(xué)習(xí)的模型開發(fā)是最相關(guān)的。剛才我提到英特爾nGraph編譯器，這個編譯器可以幫助我們從不同框架里面獲取計算圖并轉(zhuǎn)換為一個中間表示，這個中間表示可以調(diào)用英特爾針對特定硬件的計算加速軟件來執(zhí)行。這樣，開發(fā)者就可以不需要使用底層軟件和數(shù)學(xué)加速庫對每個目標(biāo)硬件進(jìn)行深度學(xué)習(xí)框架和模型的直接優(yōu)化。

英特爾硬件方面，除了深度學(xué)習(xí)以外的其它人工智能應(yīng)用，比如剛剛說的數(shù)據(jù)分析、機(jī)器學(xué)習(xí)還有推理等，就可以使用至強(qiáng)或者其它的CPU做，因為這些計算負(fù)載并不像深度學(xué)習(xí)那樣具有高計算強(qiáng)度和高并行度的特點。針對深度學(xué)習(xí)，英特爾提供了一個廣泛的產(chǎn)品組合來滿足不同客戶的獨特需求。對于訓(xùn)練，目前可以使用至強(qiáng)或基于至強(qiáng)的集群做訓(xùn)練。如果需要加速也可以考慮用加速器，明年英特爾會有專門針對深度學(xué)習(xí)訓(xùn)練的英特爾Nervana神經(jīng)網(wǎng)絡(luò)處理器。對于推斷，目前在數(shù)據(jù)中心和工作站，實際上至強(qiáng)處理器還是當(dāng)今市場的標(biāo)配（更多還是用至強(qiáng)處理器）。如果需要做高強(qiáng)度的推斷，也可以考慮用加速器，英特爾有很多加速器供大家選擇。

下面介紹一下英特爾的深度學(xué)習(xí)推斷加速器。大家知道數(shù)據(jù)中心、邊緣計算和終端設(shè)備，對于深度學(xué)習(xí)推斷的性能、功耗和成本要求，實際上是有很大區(qū)別的。英特爾FPGA可以在數(shù)據(jù)中心和邊緣計算設(shè)備上對深度學(xué)習(xí)的推斷進(jìn)行定制和快速原型設(shè)計。英特爾Movidius VPU是低功耗計算機(jī)視覺和深度推斷的解決方案。在邊緣計算方面，可以通過使用多個Movidius VPU，實現(xiàn)高強(qiáng)度、高效的媒體和視覺推斷。在終端，Movidius VPU在超低能耗下可以提供優(yōu)異的推斷吞吐量，可以用于物聯(lián)網(wǎng)傳感器、個人計算機(jī)和其他終端產(chǎn)品中進(jìn)行視覺處理和推斷。英特爾Mobileye EyeQ技術(shù)是自動駕駛的推斷平臺，同時也可以作為一個完整的自動駕駛解決方案提供給客戶。英特爾GNA，混合高斯模型和神經(jīng)網(wǎng)絡(luò)加速器IP是一個超低功耗的語音和音頻推斷解決方案，它可以被設(shè)計集成到很多智能音響、移動設(shè)備、智能汽車方向盤或者PC芯片里面。最后是英特爾集成顯卡，大家很容易忽略，實際上它內(nèi)置深度學(xué)習(xí)推斷加速的能力。

下面講講英特爾Movidius VPU和集成顯卡。去年發(fā)布的Myriad X是英特爾Movidius最新一代的VPU，它是一款低功耗的SoC，可以用在高能效圖象處理、計算機(jī)視覺和深度學(xué)習(xí)的設(shè)備里面，包括服務(wù)機(jī)器人、監(jiān)控攝像頭、可穿戴設(shè)備、無人機(jī)、AR-VR頭盔和智能家居設(shè)備等。相比上一代產(chǎn)品Myriad 2，Myriad X多了一個神經(jīng)計算引擎（Neural Compute Engine），這是一個集成在芯片上的DNN加速器。有了這個加速器，深度學(xué)習(xí)推斷吞吐量可以達(dá)到1TOPS，也就是每秒超過1萬億次運算，理論峰值可以達(dá)到4TOPS。英特爾Movidius VPU的微小尺寸和優(yōu)越的每瓦特計算性能極大的滿足了廣大用戶對計算機(jī)視覺和深度學(xué)習(xí)在終端設(shè)備上的需求。

配合Movidius VPU，我們發(fā)布了Movidius的軟件開發(fā)包，它是一個面向視頻處理單元的綜合軟件開發(fā)套件。它使用內(nèi)置的有向圖框架降低原型系統(tǒng)開發(fā)時間和復(fù)雜性，可以使用它進(jìn)行快速原型開發(fā)。它也包含很多庫，比如計算機(jī)視覺和圖像信號處理以及一些線性代數(shù)庫。這樣可以使用C/C++編程來達(dá)到最佳的性能，同時它也支持使用豐富的工具套件來進(jìn)行圖形化開發(fā)。英特爾Movidius技術(shù)已經(jīng)被廣泛應(yīng)用在很多智能設(shè)備里面，包括海康威視智能攝像頭、大疆無人機(jī)、宇視IP攝像頭、摩托羅拉360度相機(jī)、大華工業(yè)相機(jī)、谷歌AIY視覺套件和Clips智能相機(jī)等。

英特爾集成顯卡提供內(nèi)置的深度學(xué)習(xí)推斷加速能力，只是大家用得比較少。實際上英特爾集成顯卡存在于很多英特爾SoCs中，包括英特爾凌動處理器、英特爾酷睿處理器和英特爾至強(qiáng)E3處理器等。英特爾集成顯卡具有領(lǐng)先的媒體性能，包含快速視頻同步技術(shù)，使用固定功能媒體處理模塊來降低功耗、提升性能，可以快速、方便處理媒體以及創(chuàng)建和轉(zhuǎn)換視頻。另外就是英特爾Media SDK，它提供訪問硬件加速的編解碼器的API，這是大家用得比較多的。此外，英特爾集成顯卡還支持豐富的數(shù)據(jù)類型和SIMD乘累加指令。同時CPU和GPU之間采用片上共享內(nèi)存架構(gòu)，可以降低延遲和功耗。

現(xiàn)在大家使用英特爾clDNN，就可以很方便的實現(xiàn)英特爾集成顯卡上的深度神經(jīng)網(wǎng)絡(luò)計算。clDNN是英特爾集成顯卡上的深度學(xué)習(xí)加速中間件，上個月我們剛剛在GitHub上開源，大家通過網(wǎng)頁可以了解更多信息。另外，clDNN是英特爾深度學(xué)習(xí)部署工具包和英特爾OpenVINO工具包的組成部分。OpenVINO也是一個新的開源軟件工具包，上個月剛剛發(fā)布，用于幫助在英特爾平臺上提高計算機(jī)視覺解決方案的性能，同時降低解決方案開發(fā)時間。

OpenVINO包含英特爾深度學(xué)習(xí)部署工具包，包括模型優(yōu)化器和推斷引擎，模型優(yōu)化器可以將Tensorflow、Caffe等框架的推斷模型轉(zhuǎn)換為中間表示，這個中間表示通過推斷引擎自帶的用于英特爾CPU、GPU、VPU和FPGA的插件，就可以支持跨平臺的深度學(xué)習(xí)推斷部署和加速。OpenVINO還包含很多針對英特爾平臺優(yōu)化的傳統(tǒng)的計算機(jī)視覺工具和函數(shù)庫，包括針對英特爾CPU和GPU優(yōu)化的OpenCV、OpenVX和英特爾自己的攝影視覺函數(shù)庫，以及針對英特爾集成顯卡優(yōu)化的Media SDK和OpenCL驅(qū)動程序和運行時，還有針對英特爾FPGA優(yōu)化的運行時環(huán)境和比特流，所有這些都是為了方便大家更快更好的開發(fā)計算機(jī)視覺應(yīng)用，而不需要關(guān)心更多底層優(yōu)化的部分。

 

下面主要介紹我們自己相關(guān)的深度學(xué)習(xí)加速的研究工作。大家知道，網(wǎng)絡(luò)模型壓縮是深度學(xué)習(xí)推斷加速的一個主要方式，這方面我們做了很好的研究工作，我們提出了一個領(lǐng)先的低精度深度壓縮解決方案，這個解決方案可以將DNN模型的權(quán)值和激活值都轉(zhuǎn)換為低精度的二進(jìn)制表示，并實現(xiàn)百倍級無損壓縮。這為深度學(xué)習(xí)的高效推斷引擎在硬件和軟件實現(xiàn)上鋪平道路。這個技術(shù)本身包含三個模塊：優(yōu)化DNN結(jié)構(gòu)的動態(tài)網(wǎng)絡(luò)手術(shù)技術(shù)DNS，用來降低DNN權(quán)值精度的漸進(jìn)網(wǎng)絡(luò)量化技術(shù)INQ，還有降低DNN激活值精度的多尺度編碼量化技術(shù)MLQ，這三項工作都在頂級的機(jī)器學(xué)習(xí)和人工智能會議上發(fā)表。它們可以保證模型的預(yù)測準(zhǔn)確率不降低的情況下實現(xiàn)DNN模型的壓縮。

以AlexNet為例，采用低精度深度壓縮解決方案，我們首次實現(xiàn)了接近無損的、壓縮比達(dá)到100倍以上的二進(jìn)制DNN模型。由于壓縮模型的權(quán)值和激活值都是二進(jìn)制表示，從而使所有的乘法操作都可以變成簡單的移位操作。使用定制硬件就可以實現(xiàn)數(shù)十倍甚至上百倍的加速。我們的壓縮技術(shù)和英特爾低功耗硬件相結(jié)合，就可以為霧計算、邊緣計算提供深度學(xué)習(xí)推斷的硬件加速能力。采用FPGA友好的DNN設(shè)計，并結(jié)合低精度深度壓縮解決方案可以充分利用FPGA的邏輯計算單元，在邊緣計算或者霧計算的場景里面來提高DNN計算的速度，降低功耗和延遲，提高吞吐量。另外，剛才已經(jīng)提到，英特爾Movidius VPU本身已經(jīng)具備一個DNN計算加速器，結(jié)合我們的低精度壓縮技術(shù)，將來就可以提供對低精度DNN計算的支持，從而在邊緣設(shè)備上進(jìn)一步提升DNN計算的速度和吞吐量。

當(dāng)然，我們也不只限于設(shè)計專用神經(jīng)網(wǎng)絡(luò)處理器，英特爾研究院正在進(jìn)行一系列智能萬物的變革性研究，包括先進(jìn)算法、神經(jīng)擬態(tài)計算、自主系統(tǒng)和量子計算等。今年CES展上我們發(fā)布了神經(jīng)擬態(tài)研究芯片Loihi以及具有49量子位的超導(dǎo)量子測試芯片Tangle-Lake。這兩項研究可能幫助各個行業(yè)、科研機(jī)構(gòu)以及全社會解決目前困擾著傳統(tǒng)計算機(jī)的問題。我們的前瞻性研究正在穩(wěn)步推進(jìn)，希望能夠為人工智能的未來發(fā)展以及支持未來新型計算做好準(zhǔn)備。

最后，我希望用“知未來 創(chuàng)未來”結(jié)束我的演講。英特爾不改初心，始終堅持合作和創(chuàng)新，我們希望能夠和學(xué)術(shù)界、產(chǎn)業(yè)界一起通過合作和創(chuàng)新，來共同創(chuàng)造人工智能的美好未來。謝謝大家！

相關(guān)文章：

英特爾AI事業(yè)部三位負(fù)責(zé)人講解：AI技術(shù)如何落地應(yīng)用

英特爾戴金權(quán)：詳解全新大數(shù)據(jù)分析+AI平臺Analytics Zoo | CCF-GAIR 2018

發(fā)布新一代NNP芯片外，英特爾AI軟件和應(yīng)用更透露其AI野心

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。