2016 年 8 月，英特爾為了加強(qiáng)其人工智能領(lǐng)域的能力，以 4 億美元的天價(jià)收購了機(jī)器學(xué)習(xí)初創(chuàng)公司 Nervana 。該初創(chuàng)公司成立僅僅兩年，卻被公認(rèn)為是機(jī)器學(xué)習(xí)技術(shù)開發(fā)的領(lǐng)導(dǎo)者。近日，Nervana 的聯(lián)合創(chuàng)始人兼首席執(zhí)行官 Naveen Rao 博士在 StrataHadoop 上和大家深入探討了深度學(xué)習(xí)的話題，通過其PPT，我們也能了解Nervana價(jià)值所在。

Naveen 探索了許多方面，包括深度學(xué)習(xí)相對于其他機(jī)器學(xué)習(xí)技術(shù)的好處、該領(lǐng)域的最新進(jìn)展、深入學(xué)習(xí)工作流程、開發(fā)和部署深度學(xué)習(xí)解決方案的挑戰(zhàn)、用于構(gòu)建和擴(kuò)展深度學(xué)習(xí)解決方案的標(biāo)準(zhǔn)化的工具等等。

不同于大家以往的認(rèn)知，深度學(xué)習(xí)究竟是什么呢？這是一種模仿人腦機(jī)制分析數(shù)據(jù)的機(jī)器學(xué)習(xí)方法，從多層抽象中抓取特征。我們認(rèn)為真正重要的是從數(shù)據(jù)中提取有用的信息，并通過統(tǒng)計(jì)信息作出判斷。我們擁有數(shù)據(jù)科學(xué)領(lǐng)域內(nèi)的權(quán)威專家，通過龐大的數(shù)據(jù)量提高學(xué)習(xí)性能，最終獲得高度具象化的能力。

這種能力是非常強(qiáng)大的，類似于過去二十到二十五年間計(jì)算機(jī)對于人類的意義。在短短的兩年內(nèi)，深度學(xué)習(xí)這種新方法就被廣泛地應(yīng)用于工業(yè)中了，包括通信、語音處理、圖像識(shí)別以及視頻處理等等，其中大量的數(shù)據(jù)都可以被人們利用，所以我認(rèn)為未來的前景是非常光明的。

深度學(xué)習(xí)的模型有很多，但基本結(jié)構(gòu)都各不相同，可能會(huì)導(dǎo)致這些模型具有不同的特性。這里我很快和大家一起回顧一下這些常見的深度模型。

左上角的模型是目前最常用的卷積神經(jīng)網(wǎng)絡(luò)（CNN）模型，非常適用于視覺系統(tǒng)和圖像分析。右上角的模型是復(fù)發(fā)性神經(jīng)網(wǎng)絡(luò)（RNN）則適用于各種基于時(shí)間或序列的建模。金融系統(tǒng)和語言模型通常使用 RNN。其他非主流的方法還有很多，比如下方的這三種：堆疊自動(dòng)編碼器，多層感知器（MLP）和深信度網(wǎng)絡(luò)（DBN）。未來五年的很多創(chuàng)新將來自堆疊自動(dòng)編碼器領(lǐng)域，但目前我們還不知道要如何開始選取目標(biāo)。

這里我們可以看到一些真實(shí)的實(shí)驗(yàn)結(jié)果，這個(gè)系統(tǒng)通過抽象化實(shí)體，提取出豐富的代表性特征，這才是我們真正的力量來源，并且其抗干擾能力很好，無法被輕易改變。

這個(gè)的意義在于，可以自動(dòng)處理以往需要人工完成的任務(wù)。我們也做了一些測試，讓大家可以看到其性能。目前，訓(xùn)練有素的人類通常錯(cuò)誤率為 5%，而深度學(xué)習(xí)在圖像和語音任務(wù)中的錯(cuò)誤率僅為 3%。因此，我們相信幾年后，深度學(xué)習(xí)在這兩方面的能力甚至?xí)h(yuǎn)遠(yuǎn)超越人類。

這是一個(gè)深度信用網(wǎng)絡(luò)，我們看下是如何利用它來解決數(shù)據(jù)問題。這個(gè)系統(tǒng)有兩種使用方式：第一種是我們可以輸入一些數(shù)字對應(yīng)的手寫樣式，系統(tǒng)可以利用這些數(shù)據(jù)樣本判斷出是哪個(gè)對應(yīng)數(shù)字；第二種是我們給定某個(gè)數(shù)字，系統(tǒng)可以模擬出其對應(yīng)的各種可能的手寫樣式。

比如這里，系統(tǒng)根據(jù)一系列“5”的手寫體判斷出這是數(shù)字“5”。

再比如這里，當(dāng)我們輸入數(shù)字“0”，系統(tǒng)經(jīng)過一系列手寫體樣式處理，會(huì)實(shí)時(shí)地顯示各種形態(tài)各異的“0”，但毫無疑問，從視覺上大家還是可以判斷出這是數(shù)字“0”。

這是非常有趣的一件事，這意味著我們可以輸入一系列實(shí)例，從中抽象出具體的共同特征。

這個(gè)深度學(xué)習(xí)平臺(tái)實(shí)現(xiàn)了針對行為探測的 3D 卷積模型，基于 100 種類別、1 萬 3 千多個(gè)視頻的公共數(shù)據(jù)集，使訓(xùn)練速度比競爭對手的框架快了大約 3 倍。同時(shí)，該平臺(tái)也能擴(kuò)展到其他場景、對象的識(shí)別，行為相似度平行對比，視頻檢索和異常檢測。

其潛在應(yīng)用包括：在機(jī)場或地鐵站等乘客密集的場所實(shí)施安全監(jiān)控、交通管制及車輛管理、航空管制偵測、基于面部識(shí)別和圖像處理的安全系統(tǒng)檢索功能、自動(dòng)駕駛的感知和防撞系統(tǒng)、公共場所的行李檢測等等。

語音可以看做是一個(gè)個(gè)單詞的隨機(jī)組合，所以要將語音轉(zhuǎn)變?yōu)槲淖质呛芾щy的。但是，經(jīng)過大量的訓(xùn)練，系統(tǒng)也可以識(shí)別出大部分的單詞。深度學(xué)習(xí)在語音-文本轉(zhuǎn)換中的表現(xiàn)同樣令人印象深刻，諸如百度等等公司的自然語言處理技術(shù)已經(jīng)非常成熟，可以根據(jù)需要轉(zhuǎn)換成任何一種語言文字，這就如同魔法一樣神奇。

如同歷史發(fā)展的必然規(guī)律，當(dāng)達(dá)到某個(gè)拐點(diǎn)后會(huì)突然爆發(fā)，現(xiàn)在就處于數(shù)據(jù)科學(xué)的拐點(diǎn)處，利用深度學(xué)習(xí)實(shí)現(xiàn)對數(shù)據(jù)的最大化利用。

CPU 的訓(xùn)練時(shí)間是單個(gè) GPU 的三十多倍。

數(shù)據(jù)并行是最常用的方式之一，每個(gè)處理器中都有一個(gè)全深度網(wǎng)絡(luò)，將各個(gè)數(shù)據(jù)容器中的參數(shù)統(tǒng)一協(xié)調(diào)至參數(shù)服務(wù)器中。但是這并不是最好的方式。

一個(gè)更好的方式是模型并行計(jì)算，如圖所示。

Nervana 的另一個(gè)優(yōu)勢在于 I/O 范圍。通常處理器越多，深度學(xué)習(xí)的速度就越快。但是普通的工業(yè)系統(tǒng)隨著處理器數(shù)目的增多，學(xué)習(xí)速度會(huì)達(dá)到某個(gè)極限值而不再增加。而 Nervana 平臺(tái)不光能提高單個(gè)處理器的學(xué)習(xí)速度，而且還沒有學(xué)習(xí)速度的上限，可以根據(jù)需要不斷增加處理器個(gè)數(shù)。

我們?nèi)栽诶^續(xù)努力研發(fā)新的技術(shù)，力爭明年能將現(xiàn)有速度提升十倍以上。

Nervana 平臺(tái)是一個(gè)全棧式解決方案，基于 Nervana 深度學(xué)習(xí)框架平臺(tái)和 Nervana 云，實(shí)現(xiàn)輸入、構(gòu)造、訓(xùn)練和部署。

深度學(xué)習(xí)作為 Nervana 的核心競爭力，已經(jīng)圍繞其構(gòu)建了圖像分類、目標(biāo)定位、視頻檢索、文本分析、機(jī)器翻譯等功能。

Nervana 擁有最快的深度學(xué)習(xí)庫。

Nervana 的 Python 深度學(xué)習(xí)庫界面友好，可擴(kuò)展性強(qiáng)，支持多種深度學(xué)習(xí)模型，并且提供連接 Nervana 云的接口，還支持多后臺(tái)（包括Nervana 引擎、 GPU 和 CPU）。

這是系統(tǒng)的網(wǎng)絡(luò)界面，Nervana 為用戶提供了大量可以直接調(diào)用的 API。

深度學(xué)習(xí)的作用在于建立一個(gè)發(fā)現(xiàn)數(shù)據(jù)中有用信息的框架，但要使這個(gè)框架平臺(tái)運(yùn)行速度更快、處理規(guī)模更大、解決方案涵蓋面更廣，仍然有很多困難。

Nervana 目前擁有最先進(jìn)的深度學(xué)習(xí)平臺(tái)，非常便于利用開發(fā)出的相關(guān)工具，從復(fù)雜關(guān)系中抽象出有代表性的目標(biāo)特征。除了之前提過的各種應(yīng)用外，還可以用于快速定位石油井、天然氣田，以及農(nóng)業(yè)精細(xì)化運(yùn)營等。

via NextBigFuture

推薦閱讀：

量子的飛躍：下一代D-Wave量子芯片計(jì)算速度能快1000倍

最新出爐——數(shù)據(jù)科學(xué)家最常使用的十大算法

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。