雷鋒網(wǎng) AI 科技評(píng)論按： 10月17日-19日，2019年中國(guó)計(jì)算機(jī)大會(huì)（CNCC2019）在蘇州舉辦，本屆大會(huì)以“智能+引領(lǐng)社會(huì)發(fā)展”為主題，1000家機(jī)構(gòu)的代表、8000余人參展參會(huì)。百度首席技術(shù)官王海峰在會(huì)上發(fā)表題為《深度學(xué)習(xí)平臺(tái)支撐產(chǎn)業(yè)智能化》的演講，分享了百度關(guān)于深度學(xué)習(xí)技術(shù)推動(dòng)人工智能發(fā)展及產(chǎn)業(yè)化應(yīng)用的思考，并深度解讀百度飛槳深度學(xué)習(xí)平臺(tái)的優(yōu)勢(shì)，以及與百度智能云結(jié)合助力產(chǎn)業(yè)智能化的成果。

以下為演講實(shí)錄：

各位專家，各位來(lái)賓大家上午好！非常榮幸有機(jī)會(huì)參加世界計(jì)算機(jī)大會(huì)，非常感謝中國(guó)計(jì)算機(jī)學(xué)會(huì)及大會(huì)的邀請(qǐng)。今天我跟大家分享的題目是《深度學(xué)習(xí)平臺(tái)支撐產(chǎn)業(yè)智能化》。

我們都知道，從18世紀(jì)60年代開(kāi)始，人類已經(jīng)經(jīng)歷了三次工業(yè)革命。第一次工業(yè)革命為我們帶來(lái)了機(jī)械技術(shù)，第二次帶來(lái)了電氣技術(shù)，第三次帶來(lái)了信息技術(shù)。我們回顧這三次工業(yè)革命的歷史會(huì)發(fā)現(xiàn)，驅(qū)動(dòng)每一次工業(yè)革命的核心技術(shù)都有非常強(qiáng)的通用性。雖然它可能是從某一個(gè)行業(yè)開(kāi)始，比如機(jī)械技術(shù)最開(kāi)始從紡織等行業(yè)開(kāi)始，但最后都會(huì)應(yīng)用于生產(chǎn)生活的方方面面，有非常強(qiáng)的通用性。除了通用性以外，這些技術(shù)都會(huì)推動(dòng)人類進(jìn)入一個(gè)新的工業(yè)大生產(chǎn)階段，而支撐工業(yè)大生產(chǎn)的技術(shù)有幾個(gè)特點(diǎn)：標(biāo)準(zhǔn)化、自動(dòng)化、模塊化。而我們現(xiàn)在正處于第四次工業(yè)革命的開(kāi)端，人工智能則是新一輪科技革命和產(chǎn)業(yè)變革的一個(gè)核心驅(qū)動(dòng)力量。人工智能會(huì)推動(dòng)我們?nèi)祟惿鐣?huì)逐漸進(jìn)入智能時(shí)代。

回顧人工智能技術(shù)的發(fā)展，人工智能技術(shù)的發(fā)展階段有很多分類維度，我理解大概可以歸結(jié)為：最早期更多都是在用人工的規(guī)則，我26年前進(jìn)入這一行的時(shí)候，其實(shí)也是在用人工規(guī)則來(lái)開(kāi)發(fā)機(jī)器翻譯系統(tǒng)；后來(lái)逐漸開(kāi)始機(jī)器學(xué)習(xí)，尤其是統(tǒng)計(jì)機(jī)器學(xué)習(xí)，在很長(zhǎng)的一段時(shí)間里占主流地位，也產(chǎn)生了很大的影響，帶來(lái)了很多應(yīng)用產(chǎn)業(yè)的價(jià)值；深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)子方向，現(xiàn)在，深度學(xué)習(xí)逐漸成為新一代人工智能最核心的技術(shù)。

舉幾個(gè)例子，文字識(shí)別OCR技術(shù)早期是用規(guī)則+機(jī)器學(xué)習(xí)的方法來(lái)做，那時(shí)候，一個(gè)OCR技術(shù)系統(tǒng)可能會(huì)分為幾部分，從區(qū)域檢測(cè)、行分割、字分割、單字識(shí)別、語(yǔ)言模型解碼、后處理等一步步做下來(lái)。加入深度學(xué)習(xí)技術(shù)后，我們開(kāi)始使用大數(shù)據(jù)進(jìn)行訓(xùn)練，而且階段目標(biāo)也很明確，我們找到一些深度學(xué)習(xí)的特征，這個(gè)時(shí)候一個(gè)OCR系統(tǒng)就簡(jiǎn)化到只需要檢測(cè)、識(shí)別兩個(gè)過(guò)程，典型的基于深度學(xué)習(xí)的OCR系統(tǒng)大概是這樣。隨著深度學(xué)習(xí)技術(shù)進(jìn)一步發(fā)展，我們開(kāi)始在OCR里面進(jìn)行多任務(wù)的聯(lián)合訓(xùn)練、端到端學(xué)習(xí)、特征復(fù)用/互補(bǔ)，這個(gè)時(shí)候，甚至這兩個(gè)階段也不用區(qū)分了，而是一體化地就把一個(gè)文字識(shí)別的任務(wù)給做了。

我們?cè)倏礄C(jī)器翻譯。26年以前我進(jìn)入人工智能領(lǐng)域就是在做機(jī)器翻譯，當(dāng)時(shí)我們用數(shù)以萬(wàn)計(jì)的規(guī)則寫出一個(gè)翻譯系統(tǒng)，其中包括很多語(yǔ)言專家的工作。20多年以前，我們做的這個(gè)系統(tǒng)曾得到全國(guó)比賽的第一，但是這個(gè)系統(tǒng)想繼續(xù)發(fā)展，進(jìn)入一個(gè)大規(guī)模產(chǎn)業(yè)化的階段，仍然面臨著很多問(wèn)題。比如說(shuō)人工規(guī)則費(fèi)時(shí)費(fèi)力，而且隨著規(guī)則的增加，沖突也越來(lái)越嚴(yán)重，掛一漏萬(wàn)，總是很難把所有的語(yǔ)言現(xiàn)象都覆蓋到。后來(lái)，統(tǒng)計(jì)機(jī)器翻譯在機(jī)器翻譯領(lǐng)域占據(jù)最主流技術(shù)的地位，像百度翻譯八年以前上線的第一個(gè)版本的系統(tǒng)，其實(shí)就是統(tǒng)計(jì)機(jī)器翻譯。統(tǒng)計(jì)機(jī)器翻譯的過(guò)程當(dāng)中，仍然要一步一步來(lái)做，比如說(shuō)先做統(tǒng)計(jì)的詞對(duì)齊，然后做短語(yǔ)的提取，再做結(jié)構(gòu)的對(duì)齊等等，其中也涉及到人工特征的提取、定向的優(yōu)化，仍然很復(fù)雜。大概四年多以前，百度上線了世界上第一個(gè)大規(guī)模的、基于神經(jīng)網(wǎng)絡(luò)的翻譯產(chǎn)品，這時(shí)候我們可以進(jìn)行端到端的學(xué)習(xí)了。當(dāng)然了，這樣一個(gè)神經(jīng)網(wǎng)絡(luò)，或者說(shuō)是深度學(xué)習(xí)的系統(tǒng)，也有它的不足之處，現(xiàn)在真正在線上跑的、每天服務(wù)數(shù)以億計(jì)人的翻譯系統(tǒng)，其實(shí)是以神經(jīng)網(wǎng)絡(luò)的機(jī)器翻譯方法為主體，同時(shí)融合了一些規(guī)則、統(tǒng)計(jì)的技術(shù)。

剛才說(shuō)起，隨著深度學(xué)習(xí)的發(fā)展，這些技術(shù)越來(lái)越標(biāo)準(zhǔn)化、自動(dòng)化。大家可以看到深度學(xué)習(xí)有一個(gè)很重要的特點(diǎn)，就是通用性。我們之前做機(jī)器學(xué)習(xí)的時(shí)候，有非常多的模型大家都耳熟能詳，比如說(shuō)SVM、CRF等等。深度學(xué)習(xí)出現(xiàn)以后，人們發(fā)現(xiàn)，幾乎我們看到的各種問(wèn)題它都能很不錯(cuò)的解決，甚至能得到目前最佳的解決效果，這和以前的模型各有擅長(zhǎng)不一樣，它具有很強(qiáng)的通用性。

深度學(xué)習(xí)所處的位置，一方面它會(huì)向下對(duì)接芯片，像我們開(kāi)發(fā)的深度學(xué)習(xí)框架，也會(huì)跟各個(gè)芯片廠商聯(lián)合進(jìn)行優(yōu)化，前天我們還跟華為芯片一起做了一個(gè)聯(lián)合優(yōu)化的發(fā)布；向上它會(huì)承接各種應(yīng)用，不管是各種模型，還是真正的產(chǎn)品。所以我們認(rèn)為深度學(xué)習(xí)框架會(huì)是智能時(shí)代的一個(gè)操作系統(tǒng)。

我們真正把深度學(xué)習(xí)大規(guī)模產(chǎn)業(yè)化的時(shí)候，也會(huì)面臨一些要解決的問(wèn)題，比如說(shuō)，開(kāi)發(fā)這樣一個(gè)深度學(xué)習(xí)的模型或者是系統(tǒng)，實(shí)現(xiàn)起來(lái)很復(fù)雜，開(kāi)發(fā)效率很低，也很不容易；而在訓(xùn)練的時(shí)候，我們?cè)谡嬲I(yè)大生產(chǎn)中用的這些模型，比如說(shuō)百度的產(chǎn)品，都是非常龐大的模型，進(jìn)行超大的模型訓(xùn)練很困難；到了部署階段，還要考慮推理速度是不是夠快，以及部署成本是不是可控合理。

針對(duì)這幾個(gè)方面，我們開(kāi)發(fā)了百度的深度學(xué)習(xí)平臺(tái)“飛槳”，英文我們叫PaddlePaddle。我們認(rèn)為它已經(jīng)符合標(biāo)準(zhǔn)化、自動(dòng)化、模塊化的工業(yè)大生產(chǎn)特征。

飛槳底層的核心框架包括開(kāi)發(fā)、訓(xùn)練、預(yù)測(cè)。開(kāi)發(fā)既可以支持動(dòng)態(tài)圖，也可以支持靜態(tài)圖；訓(xùn)練可以支持大規(guī)模的分布式訓(xùn)練，也可以支持這種工業(yè)級(jí)的數(shù)據(jù)處理；同時(shí)可以有不同版本部署在服務(wù)器上、在端上，以及做非常高效的壓縮、安全加密等等。核心框架之上有很多基礎(chǔ)模型庫(kù)，比如說(shuō)自然語(yǔ)言處理的基礎(chǔ)模型庫(kù)、計(jì)算機(jī)視覺(jué)的基礎(chǔ)模型庫(kù)等等。同時(shí)也會(huì)提供一些開(kāi)發(fā)的套件，再往上會(huì)有各種工具組件，比如說(shuō)網(wǎng)絡(luò)的自動(dòng)訓(xùn)練、遷移學(xué)習(xí)、強(qiáng)化學(xué)習(xí)、多任務(wù)學(xué)習(xí)等等。此外，為了真正支撐各行各業(yè)的應(yīng)用，我們提供很多使用者不需要理解底層這些技術(shù)、可以直接調(diào)用的服務(wù)平臺(tái)。比如EasyDL，就是可以定制化訓(xùn)練和服務(wù)的，基本上可以不用了解深度學(xué)習(xí)背后的原理，零門檻就可以用它來(lái)開(kāi)發(fā)自己的應(yīng)用；AI Studio則是一個(gè)實(shí)訓(xùn)平臺(tái)，很多大學(xué)也在用這樣的平臺(tái)上課、學(xué)習(xí)；當(dāng)然，還包括端計(jì)算模型生成平臺(tái)。

飛槳是一個(gè)非常龐大的平臺(tái)，我們著重在四方面發(fā)力、且具有領(lǐng)先性的技術(shù)。

首先從開(kāi)發(fā)的角度，我們提供一個(gè)開(kāi)發(fā)便捷的深度學(xué)習(xí)框架；而從訓(xùn)練的角度，可以支持超大規(guī)模的訓(xùn)練；從部署的角度，可以進(jìn)行多端、多平臺(tái)的高性能推理引擎的部署；同時(shí)提供很多產(chǎn)業(yè)級(jí)的模型庫(kù)。

從開(kāi)發(fā)的角度，飛槳提供一個(gè)開(kāi)發(fā)便捷的深度學(xué)習(xí)框架。一方面，大家知道這些軟件系統(tǒng)都是很多程序員在寫，程序員有自己寫程序的習(xí)慣，我們這種組網(wǎng)式的編程范式與程序員的開(kāi)發(fā)習(xí)慣非常一致，程序員開(kāi)發(fā)起來(lái)會(huì)很有效率，而且也很容易上手；另外一個(gè)方面是設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)，深度學(xué)習(xí)發(fā)展很多年，多數(shù)深度學(xué)習(xí)的系統(tǒng)網(wǎng)絡(luò)都是人類專家來(lái)設(shè)計(jì)的，但是，設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)是很專、很不容易的一件事情。所以，我們開(kāi)發(fā)網(wǎng)絡(luò)結(jié)構(gòu)的自動(dòng)設(shè)計(jì)?，F(xiàn)在機(jī)器自動(dòng)設(shè)計(jì)的網(wǎng)絡(luò)，在很多情況下已經(jīng)比人類專家設(shè)計(jì)的網(wǎng)絡(luò)得到的效果還好。

同時(shí)，大規(guī)模訓(xùn)練面臨的挑戰(zhàn)。飛槳支持超大規(guī)模的特征、訓(xùn)練數(shù)據(jù)、模型參數(shù)、流式學(xué)習(xí)等等。我們開(kāi)發(fā)的這套系統(tǒng)現(xiàn)在已經(jīng)可以支持萬(wàn)億級(jí)參數(shù)模型，不止是能支持這樣的訓(xùn)練，同時(shí)可以支持實(shí)時(shí)的更新。

說(shuō)到多端多平臺(tái)，飛槳能很好的支撐從服務(wù)器到端、不同的操作系統(tǒng)之間，甚至不同框架之間的無(wú)縫銜接。這里是一些具體的數(shù)據(jù)，大家可以看到，我們通用架構(gòu)的推理，它的速度是非?？斓?。同時(shí)，剛才我提到的跟華為的合作，我們針對(duì)華為的NPU做了定向的優(yōu)化，使它的推理速度得到進(jìn)一步的提升。

另外一方面，所有這些基礎(chǔ)框架，與真正的開(kāi)發(fā)應(yīng)用之間還有一步，我們定向地為不同的典型應(yīng)用提供很多官方的模型庫(kù)，比如說(shuō)語(yǔ)言理解的、增強(qiáng)學(xué)習(xí)的、視覺(jué)的等等。飛槳的這些模型都在大規(guī)模的應(yīng)用中得到過(guò)驗(yàn)證，同時(shí)我們也在一些國(guó)際的比賽中測(cè)試了這些模型，奪得了很多個(gè)第一。

剛才講的是基本的框架模型等等，另一方面，我們還有完備的工具組件，以及面向任務(wù)的開(kāi)發(fā)套件，以及產(chǎn)業(yè)級(jí)的服務(wù)平臺(tái)。

舉幾個(gè)例子，比如說(shuō)語(yǔ)言理解，大家知道現(xiàn)在語(yǔ)言理解，我們也都基于深度學(xué)習(xí)框架來(lái)做，像百度的ERNIE。一方面，我們現(xiàn)在用的深度學(xué)習(xí)技術(shù)是從海量的數(shù)據(jù)里進(jìn)行學(xué)習(xí)，但是它沒(méi)有知識(shí)作為前提。百度開(kāi)發(fā)了一個(gè)非常龐大的，有3000多億個(gè)事實(shí)的知識(shí)圖譜，我們用知識(shí)來(lái)增強(qiáng)基于深度學(xué)習(xí)的語(yǔ)言理解框架，就產(chǎn)生了ERNIE。另一方面，我們又加入了持續(xù)學(xué)習(xí)的技術(shù)，從而讓ERNIE有一個(gè)非常好的表現(xiàn)。下面淺藍(lán)色的線是現(xiàn)在SOTA最好的結(jié)果，我們用ERNIE+百科知識(shí)——我們知識(shí)圖譜也有很多來(lái)源——加進(jìn)去以后，大家可以看到有很明顯的提升。我們更高興地看到，持續(xù)加入不同的知識(shí)，比如加入對(duì)話知識(shí)、篇章結(jié)構(gòu)知識(shí)等等，這個(gè)系統(tǒng)還可以進(jìn)一步提升它的性能。

這是前面講的一系列套件之一，可以零門檻進(jìn)入的定制化訓(xùn)練和服務(wù)平臺(tái)。我們這些平臺(tái)，希望能降低門檻，幫助各行各業(yè)來(lái)加速整個(gè)技術(shù)創(chuàng)新?，F(xiàn)在大概是什么狀態(tài)呢？現(xiàn)在我們已經(jīng)服務(wù)了150多萬(wàn)的開(kāi)發(fā)者，其中包括超過(guò)6.5萬(wàn)個(gè)企業(yè)。在這個(gè)平臺(tái)上，他們自己訓(xùn)練了已經(jīng)有16.9萬(wàn)個(gè)模型。

飛槳深度學(xué)習(xí)開(kāi)源開(kāi)放平臺(tái)跟百度的智能云也有很好的結(jié)合，依托云服務(wù)更多的客戶，讓AI可以賦能各行各業(yè)。這里有一些例子，比如說(shuō)在農(nóng)業(yè)，我們幫助水培蔬菜的智能種植；在林業(yè)，幫助病蟲(chóng)害的監(jiān)測(cè)識(shí)別；以及公共場(chǎng)所的控?zé)?、商品銷售的預(yù)測(cè)、人力資源系統(tǒng)的自動(dòng)匹配、制造業(yè)零件的分揀，以及地震波、藏油預(yù)測(cè)，以及更廣泛地覆蓋通訊行業(yè)、地產(chǎn)、汽車等等領(lǐng)域，各行各業(yè)都基于這個(gè)平臺(tái)都得到了智能化的升級(jí)。

比如水培蔬菜智能種植，我們通過(guò)深度學(xué)習(xí)平臺(tái)支持它進(jìn)行長(zhǎng)勢(shì)分析、水培方案的精調(diào)、環(huán)境的控制，使產(chǎn)量得以提高，同時(shí)成本得以降低。智能蟲(chóng)情監(jiān)測(cè)也是一樣，系統(tǒng)的識(shí)別準(zhǔn)確率已經(jīng)相當(dāng)于人類專家的水平，而且監(jiān)控的周期也從一周縮短到一小時(shí)。

精密零件智能分揀的案例中，我們真正用這個(gè)深度學(xué)習(xí)系統(tǒng)的時(shí)候，還是有不少事情要做，比如說(shuō)如何選擇分揀的模型，中間也會(huì)涉及一些數(shù)據(jù)的標(biāo)注，尤其是一些錯(cuò)誤case的積累等等，然后在飛槳平臺(tái)上進(jìn)行訓(xùn)練升級(jí)。

這是一個(gè)工業(yè)安全生產(chǎn)監(jiān)控的例子，昨天在另一個(gè)會(huì)上，有一個(gè)來(lái)賓問(wèn)我，他們特別想在一些場(chǎng)景下，監(jiān)控一些不當(dāng)?shù)沫h(huán)節(jié)，比如說(shuō)生產(chǎn)環(huán)境里打手機(jī)、抽煙、躍過(guò)護(hù)欄等等。這些都可以通過(guò)飛槳的平臺(tái)自動(dòng)實(shí)現(xiàn)。

在其他的行業(yè)中，比如國(guó)家重大工程用地的檢測(cè)，智慧司法，以及AI眼底篩查都在應(yīng)用飛槳，還有很多有溫度的案例，比如AI尋人，一個(gè)孩子4歲的時(shí)候離家走失，27年以后，通過(guò)人臉比對(duì)技術(shù)，又幫助這個(gè)家庭把孩子找回來(lái)了，實(shí)現(xiàn)了家庭的團(tuán)聚。截止到今年6月，百度AI尋人已經(jīng)幫助6700個(gè)家庭團(tuán)圓。除此之外，還有AI助盲行動(dòng)、AI助老兵圓夢(mèng)等等這些案例。

回到深度學(xué)習(xí)，剛才我說(shuō)，各行各業(yè)都會(huì)從其中受益，實(shí)現(xiàn)自己的智能化升級(jí)。這是一個(gè)第三方的報(bào)告，我們可以看到，深度學(xué)習(xí)給不同的行業(yè)都會(huì)帶來(lái)提升，平均大概是62%的水平。

這就是我今天要分享的。百度的飛槳深度學(xué)習(xí)平臺(tái)非常愿意跟大家一起，幫助大家實(shí)現(xiàn)自己行業(yè)的智能化升級(jí)，推動(dòng)人工智能的發(fā)展，謝謝大家！

雷鋒網(wǎng) AI 科技評(píng)論報(bào)道。雷鋒網(wǎng)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。