0
| 本文作者： 張莉 | 2018-07-31 17:43 |
雷鋒網(wǎng)按，7月27日，英特爾舉辦以“智能端到端，英特爾變革物聯(lián)網(wǎng)”為主題的視覺(jué)解決方案及策略發(fā)布會(huì)，正式推出OpenVINO視覺(jué)推理和神經(jīng)網(wǎng)絡(luò)優(yōu)化工具套件。
首先，英特爾副總裁兼物聯(lián)網(wǎng)事業(yè)部中國(guó)區(qū)總經(jīng)理陳偉博士闡述了聚焦研發(fā)邊緣計(jì)算和計(jì)算機(jī)視覺(jué)解決方案的戰(zhàn)略意圖；其次，英特爾中國(guó)區(qū)物聯(lián)網(wǎng)事業(yè)部首席技術(shù)官兼首席工程師張宇博士介紹了OpenVINO的技術(shù)細(xì)節(jié)；此外，英特爾中國(guó)銷(xiāo)售總經(jīng)理王稚聰分享了OpenVINO具體市場(chǎng)應(yīng)用。最后，合作伙伴代表介紹了與英特爾的合作歷程，以及使用英特爾硬件和包括OpenVINO工具包在內(nèi)的軟件工具等開(kāi)發(fā)的行業(yè)應(yīng)用產(chǎn)品。
雷鋒網(wǎng)注：英特爾副總裁兼物聯(lián)網(wǎng)事業(yè)部中國(guó)區(qū)總經(jīng)理 陳偉博士
首先，英特爾副總裁兼物聯(lián)網(wǎng)事業(yè)部中國(guó)區(qū)總經(jīng)理陳偉博士闡述了英特爾聚焦研發(fā)邊緣計(jì)算和計(jì)算機(jī)視覺(jué)解決方案的戰(zhàn)略意圖。
陳偉指出，過(guò)去幾年，由于數(shù)據(jù)的蓬勃發(fā)展，不管是消費(fèi)者數(shù)據(jù)還是行業(yè)數(shù)字化產(chǎn)生的數(shù)據(jù)，都是在邊緣產(chǎn)生的，直接擠壓到了對(duì)存儲(chǔ)和帶寬的要求，以至于物聯(lián)網(wǎng)行業(yè)內(nèi)都在討論邊緣計(jì)算的概念，對(duì)于邊緣大數(shù)據(jù)也有了新的思考。英特爾聚焦在視頻領(lǐng)域是因?yàn)橐曨l的數(shù)據(jù)量最大、最復(fù)雜，濃度也最高，確實(shí)擠壓到了端到端的架構(gòu)，“在英特爾，在物聯(lián)網(wǎng)事業(yè)部，我們把視頻技術(shù)當(dāng)成是一個(gè)橫向的技術(shù)，作為我們的主要戰(zhàn)略”。
但是，把所謂邊緣的人工智能真正推向邊緣并不是一個(gè)很簡(jiǎn)單的事情，在今天來(lái)看也沒(méi)有一個(gè)一勞永逸的方案。為此，英特爾通過(guò)提供業(yè)界最全面的計(jì)算平臺(tái)助力人工智能。英特爾首席研究員、英特爾中國(guó)研究院認(rèn)知計(jì)算實(shí)驗(yàn)室主任陳玉榮在2018CCF-GAIR大會(huì)上詳細(xì)介紹了該平臺(tái)的具體內(nèi)容。
英特爾的硬件支持從混合型到專(zhuān)用型，從云端到終端的最廣泛的AI應(yīng)用負(fù)載。并提供多種軟件工具組合來(lái)幫助加速AI解決方案的開(kāi)發(fā)周期。還采取基于社區(qū)和解決方案驅(qū)動(dòng)的方法，以拓展AI和豐富每個(gè)人的生活。
在工具方面，對(duì)于應(yīng)用開(kāi)發(fā)者，英特爾提供了很多工具來(lái)提升性能和幫助加速解決方案的部署。針對(duì)深度學(xué)習(xí)，開(kāi)源的OpenVINO和英特爾Movidius SDK 可以通過(guò)模型的轉(zhuǎn)換和優(yōu)化，提供針對(duì)英特爾各個(gè)目標(biāo)硬件優(yōu)化的深度學(xué)習(xí)推斷部署。
據(jù)陳偉博士介紹，OpenVINO于5月16日在全球發(fā)布，經(jīng)過(guò)過(guò)去幾個(gè)月的合作、研發(fā)、優(yōu)化，7月27號(hào)下午正式面向中國(guó)市場(chǎng)發(fā)布。具有跨平臺(tái)的靈活性，支持和兼容主流的深度學(xué)習(xí)框架，使邊緣計(jì)算解決方案能夠提高性能?！伴_(kāi)源也是在我們的計(jì)劃之中，開(kāi)源的目的是使得OpenVINO變成生態(tài)鏈的一個(gè)主要部分?！?/p>
雷鋒網(wǎng)注：英特爾中國(guó)區(qū)物聯(lián)網(wǎng)事業(yè)部首席技術(shù)官兼首席工程師 張宇博士
接著，英特爾中國(guó)區(qū)物聯(lián)網(wǎng)事業(yè)部首席技術(shù)官兼首席工程師張宇博士介紹了OpenVINO的技術(shù)細(xì)節(jié)。
據(jù)介紹，OpenVINO是一個(gè)可以加快高性能計(jì)算機(jī)視覺(jué)和深度學(xué)習(xí)視覺(jué)應(yīng)用開(kāi)發(fā)的工具套件，它能夠支持英特爾平臺(tái)的各種加速器，包括CPU、GPU、FPGA以及Movidius的VPU，來(lái)進(jìn)行深度學(xué)習(xí)，同時(shí)能夠直接支持異構(gòu)的執(zhí)行。
使用的對(duì)象是軟件開(kāi)發(fā)人員以及開(kāi)發(fā)、監(jiān)控、零售、醫(yī)療、辦公自動(dòng)化以及自動(dòng)駕駛等領(lǐng)域的數(shù)據(jù)科學(xué)家。
OpenVINO對(duì)深度學(xué)習(xí)和傳統(tǒng)的計(jì)算機(jī)視覺(jué)這兩類(lèi)方法都有很好的支持，包含一個(gè)深度學(xué)習(xí)的部署工具套件，這個(gè)工具套件可以幫助開(kāi)發(fā)者，把已經(jīng)訓(xùn)練好的網(wǎng)絡(luò)模型部署到目標(biāo)平臺(tái)之上進(jìn)行推理操作。
這樣的一個(gè)深度學(xué)習(xí)的部署套件主要包括兩個(gè)網(wǎng)元，一個(gè)網(wǎng)元稱(chēng)之為模型優(yōu)化器，另外一個(gè)被稱(chēng)之為推理引擎。模型優(yōu)化可以把開(kāi)發(fā)者基于一些開(kāi)放的深度學(xué)習(xí)的框架所開(kāi)發(fā)的網(wǎng)絡(luò)模型，針對(duì)所選用的目標(biāo)平臺(tái)進(jìn)行優(yōu)化，把這些優(yōu)化的結(jié)果轉(zhuǎn)換成一個(gè)中間表示文件，建成IR文件。
下一步，推理引擎會(huì)讀取這個(gè)IR文件，然后利用相應(yīng)的硬件插件把這些IR文件下載到相應(yīng)目標(biāo)平臺(tái)上進(jìn)行執(zhí)行。同時(shí)，在OpenVINO里面，還包含一個(gè)傳統(tǒng)的計(jì)算機(jī)視覺(jué)的工具庫(kù)，在這個(gè)工具庫(kù)里包含了經(jīng)過(guò)預(yù)編譯的而且在英特爾CPU上已經(jīng)經(jīng)過(guò)優(yōu)化的OpenCV3.3的版本。
除了對(duì)OpenCV的支持以外，在OpenVINO中還包含了對(duì)OpenVX以及OpenVX在神經(jīng)網(wǎng)絡(luò)擴(kuò)展的支持，同時(shí)在媒體、視頻、圖像處理領(lǐng)域還包含了已經(jīng)非常成熟的英特爾的媒體軟件開(kāi)發(fā)套件Media SDK，它可以幫助開(kāi)發(fā)者非常方便的利用英特爾CPU里面集成顯卡的資源來(lái)實(shí)現(xiàn)視頻的編碼、解碼以及轉(zhuǎn)碼的操作，而且支持多種視頻編解碼的格式，如H.264、H.265等。
張宇博士也介紹了如何利用英特爾的深度學(xué)習(xí)部署工具套件開(kāi)發(fā)深度學(xué)習(xí)的應(yīng)用。
目前比較流行的深度學(xué)習(xí)的框架主要有三個(gè)，即Caffe、Tensor Flow、MxNet，英特爾在設(shè)計(jì)OpenVINO的時(shí)候考慮到了目前開(kāi)發(fā)者的習(xí)慣，所以模型優(yōu)化器通過(guò)配置以后可以把這三個(gè)主要的開(kāi)發(fā)框架上所開(kāi)發(fā)的網(wǎng)絡(luò)導(dǎo)入到英特爾的平臺(tái)上，而且導(dǎo)入的過(guò)程中，會(huì)根據(jù)目標(biāo)平臺(tái)的特性做一定的優(yōu)化，把這些優(yōu)化的結(jié)果轉(zhuǎn)換成IR文件。
文件里會(huì)包含優(yōu)化以后的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，以及優(yōu)化之后的模型參數(shù)和模型變量。這個(gè)IR文件后面會(huì)被推理引擎進(jìn)行讀取，推理引擎會(huì)根據(jù)開(kāi)發(fā)者所選用的目標(biāo)平臺(tái)去選用相應(yīng)的硬件插件，把最終的文件下載到開(kāi)發(fā)者的目標(biāo)平臺(tái)之上。
目前所支持的插件包括CPU的插件，核心顯卡的GPU插件，F(xiàn)PGA的插件以及Myriad VPU的插件。插件使用完之后，可以把相應(yīng)的IR文件下載到目標(biāo)平臺(tái)之上，開(kāi)發(fā)者可以通過(guò)一些測(cè)試程序或者應(yīng)用來(lái)驗(yàn)證它的正確性。在驗(yàn)證完之后可以把這些推理引擎和中間表述文件一起下載到或者集成到最終應(yīng)用里進(jìn)行部署，這是完整的進(jìn)行深度學(xué)習(xí)應(yīng)用開(kāi)發(fā)的流程。
目前，英特爾通過(guò)向FPGA的插件，可以把中間文件下載到英特爾Arria10的FPGA板卡之上，調(diào)用DLA的庫(kù)，實(shí)現(xiàn)在FPGA上的網(wǎng)絡(luò)的推理操作；或者通過(guò)MKLDN的插件，把中間文件下載到英特爾的凌動(dòng)處理器、酷睿處理器或者是至強(qiáng)處理器之下，在這些通用的CPU之上實(shí)現(xiàn)深度學(xué)習(xí)的運(yùn)行；再或者，通過(guò)CLDNN以及OpenCL的接口，把一些神經(jīng)網(wǎng)絡(luò)運(yùn)行在英特爾的集成顯卡之上；或者是利用Movidius的插件，把神經(jīng)網(wǎng)絡(luò)運(yùn)行在基于Myriad2的深度學(xué)習(xí)計(jì)算棒，或在今年年底將要推出的Myriad X上。
通過(guò)這樣一些插件，可以選擇不同的異構(gòu)的計(jì)算結(jié)構(gòu)，而且到今后，如果有一個(gè)新的硬件的架構(gòu)需要支持的話(huà)，也可以設(shè)計(jì)一個(gè)相應(yīng)的插件來(lái)實(shí)現(xiàn)這樣的一些支持的擴(kuò)展，而不需要改變插件之上的一些軟件，從而降低開(kāi)發(fā)者的開(kāi)發(fā)成本。
OpenVINO工具套件訪問(wèn)實(shí)際上是分層的，不同的開(kāi)發(fā)者可以根據(jù)自己的使用要求以及開(kāi)發(fā)的能力去選擇不同的API接口進(jìn)行調(diào)用OpenVINO。比如公司做一個(gè)考勤系統(tǒng)，完全可以調(diào)用OpenVINO帶的人臉識(shí)別示例，根據(jù)公司員工數(shù)據(jù)庫(kù)做一個(gè)相應(yīng)的樣本集，根據(jù)樣本集的調(diào)用可以找到當(dāng)前這個(gè)員工是不是這個(gè)數(shù)據(jù)庫(kù)里的員工。
OpenVINO已經(jīng)提供了一些網(wǎng)絡(luò)的實(shí)現(xiàn)，即Model Zoo，可以在這個(gè)實(shí)現(xiàn)基礎(chǔ)之上實(shí)現(xiàn)相應(yīng)的應(yīng)用。
總的來(lái)說(shuō)，OpenVINO的優(yōu)勢(shì)有以下幾點(diǎn)。
首先，性能方面，通過(guò)OpenVINO，可以使用英特爾的各種硬件的加速資源，包括CPU、GPU、VPU、FPGA，這些資源能夠幫助開(kāi)發(fā)者提升深度學(xué)習(xí)的算法在做推理的時(shí)候的性能，而且執(zhí)行的過(guò)程中支持異構(gòu)處理和異步執(zhí)行，能夠減少由于系統(tǒng)資源等待所占用的時(shí)間。
另外，OpenVINO使用了經(jīng)過(guò)優(yōu)化以后的OpenCV和OpenVX，同時(shí)提供了很多應(yīng)用示例，可以縮短開(kāi)發(fā)時(shí)間。這些庫(kù)都支持異構(gòu)的執(zhí)行，編寫(xiě)一次以后可以通過(guò)異構(gòu)的接口支撐跑在其他的硬件平臺(tái)之上。
在深度學(xué)習(xí)方面，OpenVINO帶有模型優(yōu)化器、推理引擎以及超過(guò)20個(gè)預(yù)先訓(xùn)練的模型，開(kāi)發(fā)者可以利用提供的這些工具，快速的實(shí)現(xiàn)自己基于深度學(xué)習(xí)的應(yīng)用，而且OpenVINO使用了OpenCV、OpeenVX的基礎(chǔ)庫(kù)，可以利用這些基礎(chǔ)庫(kù)去開(kāi)發(fā)自己特定的算法，實(shí)現(xiàn)自己的定制和創(chuàng)新。
最后，張宇展示了目前使用OpenVINO能達(dá)到的性能水平。張宇團(tuán)隊(duì)用了像Google Nex這樣一些開(kāi)放的網(wǎng)絡(luò)，在英特爾不同的硬件平臺(tái)之上做了一些性能方面的測(cè)試，把這些測(cè)試的結(jié)果跟現(xiàn)在市面上的一些比較流行的平臺(tái)的結(jié)果做了簡(jiǎn)單的對(duì)比，在英特爾的酷睿i77800X這個(gè)處理器平臺(tái)上去跑上述開(kāi)放網(wǎng)絡(luò)的話(huà)，它的相應(yīng)的性?xún)r(jià)比是目前市面上解決方案的兩倍以上。
如果選用FPGA的產(chǎn)品，它的性能、功耗、成本比值的綜合考量的因素性能大概能達(dá)到1.4倍以上。如果是用Movidius的話(huà)，這樣的性能進(jìn)一步提升能達(dá)到5倍以上。英特爾Movidius VPU是低功耗計(jì)算機(jī)視覺(jué)和深度推斷的解決方案。在邊緣計(jì)算方面，可以通過(guò)使用多個(gè)Movidius VPU，實(shí)現(xiàn)高強(qiáng)度、高效的媒體和視覺(jué)推斷。在終端，Movidius VPU在超低能耗下可以提供優(yōu)異的推斷吞吐量，可以用于物聯(lián)網(wǎng)傳感器、個(gè)人計(jì)算機(jī)和其他終端產(chǎn)品中進(jìn)行視覺(jué)處理和推斷。
應(yīng)用：提出六大應(yīng)用方向和前景方案
雷鋒網(wǎng)注：英特爾中國(guó)銷(xiāo)售總經(jīng)理王稚聰
發(fā)布會(huì)的第三個(gè)環(huán)節(jié)，英特爾中國(guó)銷(xiāo)售總經(jīng)理王稚聰分享了OpenVINO和人工智能技術(shù)具體的市場(chǎng)應(yīng)用。
在中國(guó)，英特爾提出了六大應(yīng)用方向和前景方案。
交通監(jiān)控。采用英特爾FPGA和Movidius VPU的攝像頭可捕捉數(shù)據(jù)，并自動(dòng)將其發(fā)送至下游十字路口系統(tǒng)，幫助交通部門(mén)優(yōu)化交通和做好規(guī)劃。這些信息可通過(guò)車(chē)載系統(tǒng)或應(yīng)用直接傳達(dá)給司機(jī)，幫助他們規(guī)劃路線(xiàn)。
公共安全。借助使用OpenVINO工具包開(kāi)發(fā)的Myriad VPU和算法，經(jīng)過(guò)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)現(xiàn)在可利用推理功能通用面部識(shí)別分析并識(shí)別失蹤兒童。采用了這一技術(shù)的城市執(zhí)法機(jī)構(gòu)可在經(jīng)過(guò)訓(xùn)練的數(shù)據(jù)集匹配到人群中已報(bào)告失蹤兒童的臉部時(shí)，即時(shí)收到相關(guān)通知。
工業(yè)自動(dòng)化。英特爾視覺(jué)解決方案可幫助智能工廠融合OT和IT，重塑工業(yè)業(yè)務(wù)模式和增長(zhǎng)戰(zhàn)略。生產(chǎn)控制將可自動(dòng)、流暢運(yùn)轉(zhuǎn)，縮短上市時(shí)間。
機(jī)器視覺(jué)。借助人工智能增強(qiáng)工業(yè)機(jī)器視覺(jué)，支持更精準(zhǔn)的工廠自動(dòng)化應(yīng)用。解決方案組合攝像頭、電腦和算法，以分析圖像和視頻，在邊緣提供可以用于指導(dǎo)行動(dòng)的重要信息。
響應(yīng)式零售。在邊緣使用英特爾計(jì)算機(jī)視覺(jué)解決方案的零售商，可以快速識(shí)別特定客戶(hù)或客戶(hù)行為模式，從而提供個(gè)性化的精準(zhǔn)營(yíng)銷(xiāo)服務(wù)。
運(yùn)營(yíng)管理。通過(guò)使用基于英特爾架構(gòu)的計(jì)算機(jī)視覺(jué)解決方案，零售商可簡(jiǎn)化運(yùn)營(yíng)、管理庫(kù)存、優(yōu)化供應(yīng)鏈和增強(qiáng)推銷(xiāo)能力，并幫助他們發(fā)掘數(shù)據(jù)的更高價(jià)值。
陳偉博士表示，“當(dāng)下，由數(shù)據(jù)驅(qū)動(dòng)的技術(shù)正在重塑著我們所處的世界并為我們描繪著未來(lái)的無(wú)限可能。值得一提的是，中國(guó)市場(chǎng)在人工智能和計(jì)算機(jī)視覺(jué)方面的應(yīng)用處于全球領(lǐng)先位置，我們已經(jīng)把中國(guó)市場(chǎng)的需求信息規(guī)劃到未來(lái)的產(chǎn)品線(xiàn)里。相信在不久的將來(lái)，我們會(huì)看到更多來(lái)自中國(guó)市場(chǎng)的智能視覺(jué)創(chuàng)新應(yīng)用?！?/p>
最后，云從科技項(xiàng)目總監(jiān)李軍，大華公司研發(fā)中心副總裁殷俊，宇視研發(fā)副總裁AI產(chǎn)品線(xiàn)總監(jiān)湯立波，科達(dá)研究院執(zhí)行院長(zhǎng)曹李軍，中科英泰副總裁劉福利，大疆創(chuàng)新科技資深產(chǎn)品專(zhuān)家William Wu，阿里巴巴OS事業(yè)部智能硬件研發(fā)負(fù)責(zé)人馬飛飛等英特爾合作伙伴代表紛紛登臺(tái)，介紹了與英特爾的合作歷程，以及使用英特爾硬件和包括OpenVINO工具包在內(nèi)的軟件工具等開(kāi)發(fā)的具體的行業(yè)應(yīng)用產(chǎn)品。
會(huì)后，包括雷鋒網(wǎng)在內(nèi)的多家媒體對(duì)此次參會(huì)的多位英特爾負(fù)責(zé)人進(jìn)行了采訪，談到OpenVINO跟英特爾其他以前推出來(lái)的SDK有什么本質(zhì)的區(qū)別，陳偉博士答道：“以英特爾物聯(lián)網(wǎng)事業(yè)部來(lái)說(shuō)，我們之前也推出過(guò)其他的一些SDK，比如Movidius SDK，主要做媒體處理。OpenVINO實(shí)際上在這次發(fā)布的時(shí)候包含了Movidius SDK，我們?cè)谶@個(gè)基礎(chǔ)之上做了進(jìn)一步的功能擴(kuò)充?！?/p>
“功能的擴(kuò)充主要體現(xiàn)在幾個(gè)方面：一是增加了對(duì)深度學(xué)習(xí)的功能支持，你可以看到我們有一個(gè)深度學(xué)習(xí)的部署工具套件，里面包括了模型優(yōu)化器和推理引擎，這完全是新的。另外，我們?cè)贛ovidius SDK基礎(chǔ)之上，增加了對(duì)OpenCV、OpenVX等等這些現(xiàn)在在傳統(tǒng)的計(jì)算機(jī)視覺(jué)領(lǐng)域用的比較普遍的函數(shù)庫(kù)的支持，而且這些函數(shù)庫(kù)都是在英特爾的CPU上做了優(yōu)化的?！?/p>
“所以跟原有的Movidius SDK相比，原來(lái)只是做編碼、解碼的加速，現(xiàn)在不僅能做編解碼的加速，也能做一些視頻處理工作，我們把MovidiusSDK結(jié)合在一起的目的是什么？我們看到一個(gè)完整的視頻處理系統(tǒng)，從它的處理流程來(lái)看，第一步要做編解碼，解碼以后，把解碼的圖片交給相應(yīng)的處理引擎做深度學(xué)習(xí)或者是傳統(tǒng)的計(jì)算機(jī)視覺(jué)的一些處理操作，到最終的結(jié)果。我們把在整個(gè)流水線(xiàn)里面所用到的所有工具打包在一起放到OpenVINO里面，讓開(kāi)發(fā)者只用一個(gè)工具就能把所有的需求都滿(mǎn)足?！?/p>
雷鋒網(wǎng)對(duì)此次采訪其他涉及OpenVINO的關(guān)鍵問(wèn)題進(jìn)行了不改變?cè)獾木庉嬇c整理：
1.對(duì)于英特爾，是否有相關(guān)的參考設(shè)計(jì)方案，或者是從端到端的參考方案能夠提供給客戶(hù)，更快速的應(yīng)用到OpenVINO這個(gè)系統(tǒng)？同時(shí)，在OpenVINO工具里，如果我的設(shè)備里同時(shí)存在FPGA、GPU、CPU以及其他的處理單元，怎么去規(guī)劃它的計(jì)算力使用的優(yōu)先級(jí)？
顧典（英特爾技術(shù)專(zhuān)家）：我首先回答第一個(gè)問(wèn)題。為了更加速客戶(hù)的產(chǎn)品開(kāi)發(fā)和部署，我們有沒(méi)有實(shí)力供給客戶(hù)做參考。在張博士的演講當(dāng)中也略微提到了幾點(diǎn)。
第一，我們有一些預(yù)訓(xùn)練的模型，會(huì)在OpenVINO的安裝包里涵蓋。這個(gè)模型正在不斷地?cái)U(kuò)容，早些時(shí)候的一個(gè)版本是100多個(gè)模型，在我們當(dāng)前這個(gè)版本當(dāng)中已經(jīng)擴(kuò)展到了150個(gè)模型。
大家剛剛也提到英特爾在發(fā)布自己的SDK上和以往有什么不一樣。其實(shí)另外一個(gè)比較細(xì)節(jié)化的不一樣，因?yàn)槲覀冎廊斯ぶ悄芎蜕疃葘W(xué)習(xí)發(fā)展非?？欤跃W(wǎng)絡(luò)模型更新迭代也是非常快。
我們發(fā)布這樣的軟件工具，在更新迭代的速率上也會(huì)做和以往做不一樣的提速處理。比如OpenVINO在今年上半年做了一個(gè)發(fā)布，在下半年我們還規(guī)劃了兩次很大的更新，所以大家也可以從更新的速率上看出來(lái)，我們也是為了方便客戶(hù)的開(kāi)發(fā)，縮短客戶(hù)的時(shí)間。
另外，OpenVINO里面有一個(gè)叫Open Model Zoo，這不是一個(gè)簡(jiǎn)單的網(wǎng)絡(luò)參考，而是基于一些網(wǎng)絡(luò)組合的融合，已經(jīng)把具體的客戶(hù)的應(yīng)用實(shí)例開(kāi)發(fā)出來(lái)，當(dāng)然這個(gè)開(kāi)發(fā)實(shí)例不是完整完善的應(yīng)用，這只是一個(gè)參考，但客戶(hù)完全可以基于Open Model Zoo現(xiàn)成的應(yīng)用樣本進(jìn)一步的做好開(kāi)發(fā)。
第二個(gè)問(wèn)題，如果我們?cè)O(shè)計(jì)目標(biāo)系統(tǒng)里有不同的硬件組件，比如我有FPGA或者是GPU，在OpenVINO工具包里有一個(gè)特殊的插件，叫異構(gòu)計(jì)算插件，剛剛張博士的演講里提到一點(diǎn)，我們?nèi)绻繕?biāo)系統(tǒng)里面涵蓋了不同的硬件設(shè)備，可以通過(guò)異構(gòu)的插件進(jìn)行非常靈活的配置。
我這里強(qiáng)調(diào)了配置，不是重新寫(xiě)很復(fù)雜的代碼，把工作負(fù)載分配到不同的硬件軟件上，我們會(huì)有相對(duì)簡(jiǎn)單的API，大家可以在里面寫(xiě)，哪一個(gè)部分的Workload可以在GPU上面實(shí)現(xiàn)，哪一部分不被硬件支持。這個(gè)配置相當(dāng)簡(jiǎn)單、相當(dāng)靈活，也帶有一定的客制化的冗余，所以剛開(kāi)始的時(shí)候會(huì)有一定的學(xué)習(xí)成本，但是上手以后，對(duì)于開(kāi)發(fā)難度來(lái)說(shuō)大大降低，對(duì)于客戶(hù)和合作伙伴來(lái)講，開(kāi)發(fā)周期也會(huì)起到非常好的縮短效果。
2.整個(gè)圖像處理的算法一直很復(fù)雜，我們?cè)谔幚硭脑悩?gòu)加速問(wèn)題上一直存在，存在了七八年的時(shí)間，我不太知道為什么在這樣一個(gè)節(jié)點(diǎn)推出這樣一個(gè)產(chǎn)品，是不是在解決異構(gòu)加速上的關(guān)鍵問(wèn)題，關(guān)鍵問(wèn)題是如何解決的？
顧典：在歷史上以往所謂的處理計(jì)算機(jī)視覺(jué)的異構(gòu)計(jì)算里，我們往往強(qiáng)調(diào)的是圖像處理本身，比如包括一些通用的核心處理，這些部分構(gòu)成了傳統(tǒng)意義上的異構(gòu)計(jì)算，即更偏圖像異構(gòu)處理的計(jì)算，從SOC的設(shè)計(jì)角度來(lái)說(shuō)，這部分的圖像異構(gòu)計(jì)算在過(guò)去相當(dāng)長(zhǎng)的發(fā)展歷史階段已經(jīng)得到了比較充分的滿(mǎn)足。
為什么今天還會(huì)強(qiáng)調(diào)異構(gòu)計(jì)算，是因?yàn)槿斯ぶ悄軒?lái)了一種新的計(jì)算需求。比如說(shuō)卷積神經(jīng)網(wǎng)絡(luò)或者是深度學(xué)習(xí)網(wǎng)絡(luò)。網(wǎng)絡(luò)類(lèi)型的計(jì)算對(duì)于圖象處理是新的挑戰(zhàn)，在這樣一個(gè)新的計(jì)算需求下，我們重新再提出異構(gòu)計(jì)算這個(gè)概念。
從英特爾自身的優(yōu)勢(shì)來(lái)說(shuō)，因?yàn)榻Y(jié)合了CPU，顯核GPU還有FPGA和VPU不同的產(chǎn)品組合，所以從自身推廣自己的產(chǎn)品平臺(tái)角度來(lái)說(shuō)，我們也認(rèn)為這是需要幫助客戶(hù)解決的問(wèn)題。
從這兩個(gè)出發(fā)點(diǎn)來(lái)說(shuō)，異構(gòu)計(jì)算還是因?yàn)樾枨髥?wèn)題存在，也是因?yàn)楸旧砦覀円茝V產(chǎn)品的一個(gè)需要。里面關(guān)鍵的一個(gè)問(wèn)題是，我們?cè)贠penVINO的開(kāi)發(fā)工具里面做了很多考慮怎么樣使異構(gòu)計(jì)算變得更容易的一些方式，包括剛剛講的可配置的異構(gòu)計(jì)算插件的解決方式。
張宇：我補(bǔ)充一點(diǎn)。如果你看整個(gè)趨勢(shì)的話(huà)，英特爾產(chǎn)品線(xiàn)的變化趨勢(shì)，體現(xiàn)了我們對(duì)整個(gè)人工智能處理的判斷，從之前來(lái)看，我們的產(chǎn)品線(xiàn)主要集中在通用處理器和顯核和GPU上，這兩種主要做一些相對(duì)來(lái)說(shuō)比較通用的邏輯計(jì)算和一些視頻編解碼的計(jì)算。
到了人工智能，我們看到一些相對(duì)來(lái)說(shuō)比較專(zhuān)業(yè)的處理器，像Movidius和一些高清的FPGA的處理器，有很普遍適用的場(chǎng)景，所以我們認(rèn)為人工智能計(jì)算適應(yīng)的架構(gòu)是根據(jù)節(jié)點(diǎn)要求的多樣化架構(gòu)，很難有單一的一種類(lèi)型的行為架構(gòu)來(lái)滿(mǎn)足所有節(jié)點(diǎn)對(duì)人工智能計(jì)算的要求，這是我們的判斷。
基于這個(gè)判斷，英特爾產(chǎn)品線(xiàn)在這幾年變的豐富了，我們的FPGA和Movidius是通過(guò)這幾年的收購(gòu)來(lái)進(jìn)入到英特爾的產(chǎn)品當(dāng)中來(lái)，為什么在這個(gè)時(shí)間節(jié)點(diǎn)推出OpenVINO，因?yàn)橛布a(chǎn)品線(xiàn)豐富了，就有一個(gè)要求，開(kāi)發(fā)者在使用硬件的時(shí)候，他不希望有不同的開(kāi)發(fā)工具，不同的開(kāi)發(fā)語(yǔ)言，這樣會(huì)增加他的開(kāi)發(fā)成本，所以我們認(rèn)為需要給開(kāi)發(fā)者一個(gè)通用的、統(tǒng)一的開(kāi)發(fā)接口來(lái)降低整個(gè)開(kāi)發(fā)開(kāi)銷(xiāo)，所以我們認(rèn)為OpenVINO在這個(gè)時(shí)候推出是適宜的。
3.問(wèn)一下張博士，在您剛才介紹的時(shí)候，您對(duì)OpenVINO的定義是它能夠加速高性能計(jì)算視覺(jué)，包括深度學(xué)習(xí)視覺(jué)部署開(kāi)發(fā)速度的套件，但是在終端性的應(yīng)用里不光是開(kāi)發(fā)速度，可能對(duì)于運(yùn)算的效率、功耗都更為重要，所以O(shè)penVINO在這些方面有沒(méi)有一些計(jì)劃？另外，算法也是不斷演進(jìn)的，在兼容不同的算法方面有什么考慮？
張宇：在這一方面我們既考慮到開(kāi)發(fā)的應(yīng)用性，同時(shí)也考慮它開(kāi)發(fā)之后的高效性。應(yīng)用性主要體現(xiàn)在我們對(duì)一些開(kāi)放的人工智能架構(gòu)的支持，因?yàn)楝F(xiàn)在開(kāi)發(fā)者基本上都是在Caffe、Tensor Flow、MxNet以及一些其它的網(wǎng)絡(luò)框架上來(lái)進(jìn)行開(kāi)發(fā)，所以我們直接提供了對(duì)這些框架的支持，保證開(kāi)發(fā)者在這個(gè)框架下所寫(xiě)的模型，通過(guò)我們的工具能夠很快的轉(zhuǎn)換在硬件平臺(tái)之上。
高效性的體現(xiàn)主要是體現(xiàn)在對(duì)硬件的支持上，以前你寫(xiě)的模型只是跑在通用處理器上，但是終端的設(shè)備里面有一些加速引擎或者是核顯，或者是有Movidius、FPGA，我們會(huì)幫助你，把你所寫(xiě)的模型跑到這些加速引擎之上，來(lái)達(dá)到更好的效果，這是我們?cè)谧龅囊恍┕ぷ鳌?/p>
顧典：做一些補(bǔ)充。除了剛剛張博士講的，從算法的效率角度來(lái)說(shuō)，我們?cè)贠penVINO工具設(shè)計(jì)上還做了非常細(xì)致的考慮，在剛剛的介紹里面提到OpenVINO的架構(gòu)里有一些組件，比如有一個(gè)組件叫模型優(yōu)化器，叫Model Optimizer，在Model Optimizer這個(gè)層級(jí)的API里面，我們會(huì)基于和廣大生態(tài)合作伙伴積累的經(jīng)驗(yàn)實(shí)施一些比較通用的優(yōu)化策略。剛剛張博士演講當(dāng)中也提到了一些量化的策略，我們會(huì)通過(guò)模型的優(yōu)化器去實(shí)現(xiàn)。這一個(gè)層級(jí)算法效率的提升，它的實(shí)現(xiàn)和底層硬件沒(méi)有任何關(guān)系，這是一些通用策略。
另外，目前我們的OpenVINO的版本已經(jīng)開(kāi)源了模型優(yōu)化器，這個(gè)是開(kāi)源版，基于開(kāi)發(fā)者的經(jīng)驗(yàn)可以自己自定義優(yōu)化策略，把優(yōu)化策略通過(guò)自己加一些代碼就可以形成自定義的擴(kuò)展，把擴(kuò)展加進(jìn)去，再把模型導(dǎo)入以后，你的模型就可以被增加的這部分功能優(yōu)化。這是第一個(gè)層面。
第二個(gè)層面，如果我們把轉(zhuǎn)化過(guò)的模型推送到推定引擎的時(shí)候，因?yàn)橥贫ㄒ孀罱K會(huì)使代碼下到最底層的硬件，這一層面上我們會(huì)就下到哪一個(gè)硬件類(lèi)型，去做關(guān)于硬件這部分的優(yōu)化。和硬件相關(guān)的這部分優(yōu)化是需要開(kāi)發(fā)者對(duì)于相應(yīng)的硬件IP有一定深入的了解。
4.從英特爾的角度來(lái)看，您是否會(huì)覺(jué)得人工智能在現(xiàn)階段FPGA是一個(gè)比較好的載體？另外，這種集成了CPU、GPU類(lèi)型的FPGA，跟通過(guò)軟件來(lái)去協(xié)同共同的CPU、GPU、VPU這種類(lèi)型的架構(gòu)的項(xiàng)目之間有何區(qū)別？
張宇：我認(rèn)為目前人工智能處在初始階段，我把它定義為一個(gè)實(shí)驗(yàn)科學(xué)，而不是理論科學(xué)，因?yàn)楝F(xiàn)在大家做的很多算法實(shí)際上是通過(guò)摸索、實(shí)驗(yàn)出來(lái)的，比如我用SSD做檢測(cè)，效果不錯(cuò)，但是這個(gè)算法的上限在哪？這個(gè)很多人說(shuō)不清楚，因?yàn)楝F(xiàn)在的人工智能還缺少一個(gè)理論的支撐。
現(xiàn)在如果我們看人工智能，其實(shí)沒(méi)有一個(gè)完整的理論體系，大家更多的是利用各種實(shí)驗(yàn)的方式找到這個(gè)方式是比較好的，用到某一個(gè)具體的領(lǐng)域，但是這個(gè)方法適用度到什么程度，換一個(gè)領(lǐng)域是不是能夠適用，只能通過(guò)實(shí)驗(yàn)的方式進(jìn)行驗(yàn)證，而不能用理論的方式進(jìn)行驗(yàn)證，這是目前人工智能的現(xiàn)狀。
在這種情況下，我看到整個(gè)人工智能芯片的發(fā)展，目前還是FPGA、CPU，在算法不固定的情況下，還是用通用處理器比較多一些。但是在一些前端的設(shè)備里，因?yàn)樗惴ㄏ鄬?duì)固定了，通過(guò)一些實(shí)驗(yàn)驗(yàn)證完的算法可以把它固定下來(lái)，這個(gè)時(shí)候用的ASIC比較多一些，比如現(xiàn)在在我的攝像機(jī)里用Movidius這樣的ASIC芯片去實(shí)現(xiàn)特定的算法，這是比較高效的，因?yàn)樗惴ü潭ǎ珹SIC的效率一定是最高的，而且它的功耗低，能夠滿(mǎn)足前端設(shè)備對(duì)低功耗的要求。
所以剛才您的問(wèn)題，FPGA有FPGA的適用場(chǎng)景，ASIC有ASIC的使用場(chǎng)景，通用處理器也有通用處理器的使用場(chǎng)景，尤其是在訓(xùn)練階段。所以這是我覺(jué)得目前整個(gè)人工智能發(fā)展現(xiàn)狀的局限。
到了今后，如果理論進(jìn)一步完善了，也可能會(huì)有新一代的處理器架構(gòu)出現(xiàn)，那個(gè)時(shí)候到底人工智能芯片是什么樣子？我們現(xiàn)在很難說(shuō)，但是我們可以用一個(gè)方式進(jìn)行影射，用什么方法進(jìn)行影射呢？我們可以對(duì)比一下區(qū)塊鏈。
大家知道，以比特幣為例，雖然比特幣商業(yè)價(jià)值我們不說(shuō)，我們看它的理論價(jià)值，比特幣的理論價(jià)值相對(duì)來(lái)說(shuō)是比較完善的，因?yàn)樗且怨Ｋ惴榛A(chǔ)，相對(duì)來(lái)說(shuō)算法固定了就可以用一些相對(duì)來(lái)說(shuō)比較固定的硬件架構(gòu)實(shí)現(xiàn)。
所以你看整個(gè)比特幣礦機(jī)芯片的發(fā)展階段，第一個(gè)階段用的是GPU和CPU，第二個(gè)階段是FPGA。因?yàn)镕PGA既有一定的靈活度，同時(shí)性能功耗比比較高。到了第三個(gè)階段是ASIC?，F(xiàn)在像比特大陸等等這些礦機(jī)廠商都在做自己的芯片，原因在于他們的理論已經(jīng)比較完善了，所以人工智能很可能也是類(lèi)似的，但是因?yàn)檫@個(gè)理論不太成熟，所以很難去預(yù)估今后人工智能芯片價(jià)格到底是什么樣子，在目前這個(gè)階段還是根據(jù)特定的應(yīng)用場(chǎng)景訓(xùn)練來(lái)選擇的視覺(jué)運(yùn)算。
做目前視頻類(lèi)的人工智能運(yùn)算的時(shí)候，不僅僅有卷積神經(jīng)網(wǎng)絡(luò)這一個(gè)要素，因?yàn)樽鲆曨l處理涉及到其他的要素，比如視頻過(guò)來(lái)之后要做編解碼，跟卷積神經(jīng)網(wǎng)絡(luò)是不一樣的，不可能用同樣的架構(gòu)來(lái)實(shí)現(xiàn)，所以如果要一個(gè)高效系統(tǒng)的話(huà)，應(yīng)該有一個(gè)專(zhuān)門(mén)去做編解碼的硬核。
另外，做深度學(xué)習(xí)的時(shí)候，有的時(shí)候還要做一些圖形的轉(zhuǎn)換，比如縮放或者做一些處理，本身這些處理不屬于卷積范疇，如果有一些相應(yīng)的配合的硬核去做的話(huà)效果會(huì)更高。
所以如果從整個(gè)系統(tǒng)的角度來(lái)看，如果有FPGA的資源，有一些針對(duì)特定運(yùn)算加速的資源，對(duì)系統(tǒng)來(lái)說(shuō)肯定會(huì)更高。所以我們做芯片設(shè)計(jì)的時(shí)候，今年年底要推出的新一代的Movidius芯片，叫Myriad X，這也是一個(gè)融合的架構(gòu)，是異構(gòu)的，里面既有對(duì)卷積神經(jīng)網(wǎng)絡(luò)加速的單元，也有一些對(duì)圖像編解碼的加速單元，以及圖像處理的加速單元，這樣可以給用戶(hù)提供一個(gè)完整的算例，來(lái)幫助他們實(shí)現(xiàn)深度學(xué)習(xí)所需的操作。
相關(guān)文章：
英特爾2020年將推獨(dú)立GPU，但CPU霸主研發(fā)高端GPU的歷史有些“辛酸”
英特爾戴金權(quán)：詳解全新大數(shù)據(jù)分析+AI平臺(tái)Analytics Zoo | CCF-GAIR 2018
英特爾宣布收購(gòu)eASIC，進(jìn)一步增強(qiáng)“結(jié)構(gòu)化ASIC”設(shè)計(jì)能力
英特爾陳玉榮：全面解析英特爾人工智能計(jì)算平臺(tái) | CCF-GAIR 2018
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
