0
| 本文作者： 張帥 | 2019-05-28 18:17 |
雷鋒網(wǎng)消息，在2019全球人工智能技術(shù)大會主論壇，英特爾高級首席工程師、大數(shù)據(jù)技術(shù)全球CTO戴金權(quán)發(fā)表了題為“如何構(gòu)建統(tǒng)一的大數(shù)據(jù)分析+AI平臺”的演講，英特爾的硬件能力不必贅述，這次英特爾則著重展示了軟硬協(xié)同能力，尤其是人工智能開源軟件平臺Analytics Zoo。
戴金權(quán)表示，英特爾致力于提供從設(shè)備端到邊緣再到數(shù)據(jù)中心、云端完整的計算架構(gòu)，比如在數(shù)據(jù)中心，英特爾至強(qiáng)系列服務(wù)器是AI應(yīng)用分析的基礎(chǔ)架構(gòu)，同時也提供了多種神經(jīng)網(wǎng)絡(luò)處理器等硬件架構(gòu)。
英特爾開源AI軟件版圖
如上圖所示，這是英特爾使用開源AI軟件加速開發(fā)的版圖，他強(qiáng)調(diào)，英特爾致力于提供全棧的解決方案，從最底層的算法開源項目幫助用戶更高效開發(fā)計算庫，再到上層各種機(jī)器學(xué)習(xí)或者深度學(xué)習(xí)的框架，再到最上層，英特爾也提供了一些開源工具包，目的是幫助應(yīng)用開發(fā)人員更高效的開發(fā)基于深度學(xué)習(xí)的應(yīng)用。
據(jù)雷鋒網(wǎng)了解，業(yè)內(nèi)大數(shù)據(jù)分析和AI平臺產(chǎn)品并不少，英特爾這類將大數(shù)據(jù)分析和AI平臺融為一體的模式正成為行業(yè)新趨勢。
第一，對于大多數(shù)用戶來說，尤其在生產(chǎn)系統(tǒng)當(dāng)中，基于Apache Spark這樣的大數(shù)據(jù)集群仍然是所有的生產(chǎn)數(shù)據(jù)以及包括大量硬件資源的聚集地，如何更高效利用生產(chǎn)數(shù)據(jù)以及硬件資源，能夠?qū)⑿碌娜斯ぶ悄艿膽?yīng)用支持起來成為新挑戰(zhàn)。
第二，要構(gòu)建一個工業(yè)級端到端的大數(shù)據(jù)分析+人工智能應(yīng)用，并不是說訓(xùn)練一個模型就可以完成的事情，其是一個非常復(fù)雜的流水線或者工作流。從數(shù)據(jù)的收集、導(dǎo)入、處理、特征的提取、各種模型的構(gòu)建訓(xùn)練，到最后的部署、推理等等，是一個非常復(fù)雜的工作流。
“我們能夠幫助用戶可以將這一個樣端到端的大數(shù)據(jù)處理分析加上機(jī)器學(xué)習(xí)的工作流能夠非常方便地構(gòu)建出來，從而大大能夠提高了用戶的開發(fā)效率、部署效率和運(yùn)維效率”，戴金權(quán)介紹道。
與過去數(shù)年相比，深度學(xué)習(xí)和人工智能應(yīng)用場景更加廣泛，要處理的數(shù)據(jù)也更加廣泛，所以客觀要求使用者構(gòu)建端到端的大數(shù)據(jù)處理分析加上機(jī)器學(xué)習(xí)、深度學(xué)習(xí)的統(tǒng)一流水線。英特爾觀察到，客戶有越來越多的類似需求。
“我們有很多用戶是來自于很多非常大的互聯(lián)網(wǎng)公司或者是大的企業(yè)里面的傳統(tǒng)實驗室，他慢慢的也會發(fā)現(xiàn)，當(dāng)構(gòu)建了一些人工智能深度學(xué)習(xí)的框架和模型之后，怎么樣能夠很好的真正跑到生產(chǎn)系統(tǒng)上去，能將生產(chǎn)數(shù)據(jù)在上面跑起來。這是用戶來使用英特爾Analytics Zoo一個很重要的出發(fā)點?！?/p>
此外，Analytics Zoo的用戶也不乏硬件的OEM的廠商、軟件提供商、公有云服務(wù)商等，英特爾現(xiàn)場展示出的客戶包括浪潮、寶信、戴爾、阿里云和騰訊云等。
從深度學(xué)習(xí)模型到一個完整的工業(yè)級應(yīng)用要多少步驟？如上戴金權(quán)在現(xiàn)場展示的PPT，黑色部分是核心的深度學(xué)習(xí)模型，但是周邊有很多工作要完成，才能使之運(yùn)行起來。
深度學(xué)習(xí)的模型只是整個流程的一部分，要構(gòu)建和應(yīng)用深度學(xué)習(xí)模型，還有數(shù)據(jù)的導(dǎo)入、數(shù)據(jù)清洗、特征提取、對整個集群的資源的管理和各個應(yīng)用之間對這個資源的共享等，這些工作事實上占據(jù)了機(jī)器學(xué)習(xí)或者深度學(xué)習(xí)的一個工業(yè)級應(yīng)用開發(fā)大部分的時間和資源。所以，數(shù)據(jù)處理、機(jī)器學(xué)習(xí)，以及算法必須很好地和現(xiàn)有的大數(shù)據(jù)處理的工作流整合在一起。
這也是構(gòu)建一個端到端的應(yīng)用場景所面臨的問題，在沒有一個統(tǒng)一的大數(shù)據(jù)分析+AI平臺之前，需要人工把很多不同的框架拼湊起來。
另外很多用戶開發(fā)一般都是從單機(jī)開始，當(dāng)需要處理更多數(shù)據(jù)的時候，就需要跑到一個大規(guī)模分布式環(huán)境，甚至到一個生產(chǎn)環(huán)境里去。
從Analytics Zoo的角度，第一，英特爾能夠?qū)⒉煌目蚣軣o縫的集成到流水線里面去，通過在軟件層上面各種新的支持或者功能，能夠?qū)ensorFlow、Spark能夠非常無縫的集成在一個程序里面，在一個Spark程序里面直接嵌入TensorFlow的Code，然后一起運(yùn)行起來，這其實對很多用戶來說很有吸引力。
第二是在開發(fā)過程中，因為底層運(yùn)行在Spark這樣的引擎上，上面可以嵌入各種深度學(xué)習(xí)的功能，它可以運(yùn)行在一個單機(jī)的環(huán)境，也可以跑到一個分布式環(huán)境里面去，用戶也可以直接訪問生產(chǎn)數(shù)據(jù)。
“很多用戶之所以想用Analytics Zoo，就是它可以直接構(gòu)建端到端的，跟生產(chǎn)系統(tǒng)幾乎一致的原型。這是我們的一個主要出發(fā)點，可以幫助用戶將整個的大數(shù)據(jù)分析+人工智能的應(yīng)用很方便的將端到端的流水線構(gòu)建出來，而且它可以很方便的從用戶的筆記本運(yùn)行到集群、運(yùn)行到用戶的生產(chǎn)環(huán)境當(dāng)中去，這是英特爾在底層Analytics Zoo這個平臺里所做的工作”，戴金權(quán)總結(jié)道。
Analytics Zoo是為了大數(shù)據(jù)平臺所優(yōu)化的，今天大數(shù)據(jù)平臺基本都運(yùn)行在非常大規(guī)模的英特爾至強(qiáng)處理器上，或許是幾十、幾百、幾千個節(jié)點，但是英特爾使用了大量的底層優(yōu)化的框架和庫，像MKL-DNN、OpenVINO等等，將來會通過英特爾One API這樣的生態(tài)系統(tǒng)輸出。
戴金權(quán)提到，當(dāng)在英特爾的生態(tài)系統(tǒng)上構(gòu)建一個人工智能開發(fā)平臺時，帶來的好處就是底層能夠支持英特爾各種硬件的加速，不管是至強(qiáng)服務(wù)器，包括像Movidius、FPGA，神經(jīng)網(wǎng)絡(luò)處理器，還有將來的獨立顯卡，都可以通過One API下面的底層生態(tài)系統(tǒng)來給上層的平臺和應(yīng)用所使用。
雷鋒網(wǎng)總結(jié)，Analytics Zoo能夠?qū)⒏鞣N不同的模塊不同的框架下統(tǒng)一到一個端到端流水線上，提高客戶開發(fā)部署大數(shù)據(jù)分析和深度學(xué)習(xí)的能力，這在如今深度學(xué)習(xí)或者機(jī)器學(xué)習(xí)越泛化的背景下十分重要，英特爾的工作能夠讓用戶減少人工智能應(yīng)用的開發(fā)環(huán)節(jié)，快速推向現(xiàn)實場景。
英特爾高級首席工程師、大數(shù)據(jù)技術(shù)全球CTO戴金權(quán)已經(jīng)確認(rèn)出席由中國計算機(jī)學(xué)會主辦，雷鋒網(wǎng)、香港中文大學(xué)（深圳）聯(lián)合承辦的CCF-GAIR全球人工智能與機(jī)器人峰會。
2019年7月14日，CCF-GAIR 2019 將結(jié)合語音、計算機(jī)視覺等傳統(tǒng)人工智能重點方向的研究，以及如在經(jīng)濟(jì)學(xué)等領(lǐng)域的新應(yīng)用，承接歷史與未來、學(xué)術(shù)研究與產(chǎn)業(yè)應(yīng)用，對世界和中國近四十年來的人工智能研究進(jìn)行一個系統(tǒng)性的回顧并展望在當(dāng)前復(fù)雜國際形勢下中國人工智能的未來發(fā)展。
相關(guān)文章：
英特爾以數(shù)據(jù)為中心的競爭優(yōu)勢是什么？BATJ有個共同的觀點
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
