5月20日，在這個(gè)空氣中彌漫中濃濃愛意的日子，又迎來了百度一年一度的“Wave Summit 2020”深度學(xué)習(xí)開發(fā)者峰會(huì)。本次大會(huì)由深度學(xué)習(xí)技術(shù)及應(yīng)用國家工程實(shí)驗(yàn)室與百度聯(lián)合主辦，線上召開。

上午十點(diǎn)整，百度CTO王海峰首先登臺(tái)致辭。  

他的“重頭戲”，便是與大家分享了飛槳在新的一年所取得的佳績：累計(jì)開發(fā)者數(shù)量194萬，服務(wù)企業(yè)數(shù)量8.4萬家，基于飛槳平臺(tái)產(chǎn)生了23.3萬模型。

而這一佳績的背后，一方面得益于算法、算力及數(shù)據(jù)的持續(xù)共同進(jìn)步，使得技術(shù)的邊界不斷被拓展；另一方面，疫情帶動(dòng)了線上經(jīng)濟(jì)增長，在國家提出“新基建”等大背景下，以飛槳為代表的深度學(xué)習(xí)平臺(tái)作為智能時(shí)代的操作系統(tǒng)，也迎來了非?？少F的發(fā)展機(jī)遇。

接下來，由百度集團(tuán)副總裁、深度學(xué)習(xí)技術(shù)及應(yīng)用國家工程實(shí)驗(yàn)室副主任吳甜帶來“蕩起飛槳 AI生產(chǎn)正當(dāng)時(shí)”的主題演講。

她以“口罩人臉系列應(yīng)用方案”為例，深入講解了飛槳在大規(guī)模分布式訓(xùn)練、全硬件平臺(tái)支持、端到端全流程工具以及飛槳Master模式等方面實(shí)現(xiàn)的最新技術(shù)進(jìn)展。

演講中，她也帶來了飛槳全景圖的發(fā)布，并表示，在全新產(chǎn)品架構(gòu)里，開源深度學(xué)習(xí)平臺(tái)依然是最重要的一部分，他們依舊會(huì)持續(xù)通過開源的方式，圍繞飛槳的核心框架、基礎(chǔ)模型庫、端到端的開發(fā)套件和工具組件打造飛槳最核心的能力，永久開源，為開發(fā)者提供最強(qiáng)有力的開發(fā)基礎(chǔ)。

不僅如此，百度還推出了量子機(jī)器學(xué)習(xí)，期望飛槳能夠?yàn)槲磥淼那把匕l(fā)展做出貢獻(xiàn)（詳細(xì)請(qǐng)閱讀本文第3部分）。

一、高效易用的核心框架設(shè)計(jì)理念，四大技術(shù)特色

峰會(huì)繼續(xù)，百度飛槳總架構(gòu)師于佃海上臺(tái)分享了飛槳核心框架的設(shè)計(jì)理念和技術(shù)特色。

作為源于百度內(nèi)部實(shí)踐的一個(gè)深度學(xué)習(xí)框架，飛槳的迭代發(fā)展有兩個(gè)驅(qū)動(dòng)輪：產(chǎn)業(yè)實(shí)踐的需求和打磨（性能、大規(guī)模訓(xùn)練和部署能力）；用戶體驗(yàn)提升（用戶編程界面的優(yōu)化和基礎(chǔ)功能建設(shè)的完善）。

兩個(gè)驅(qū)動(dòng)輪對(duì)應(yīng)到框架的設(shè)計(jì)，簡單來講，就是高效且易用。其設(shè)計(jì)的基本理念是，深度學(xué)習(xí)的編程開發(fā)應(yīng)該更加符合用戶一般的編程習(xí)慣，而不需要引入太多額外的概念。

這一設(shè)計(jì)理念以及雙輪驅(qū)動(dòng)下，飛槳框架目前已經(jīng)具備以下四個(gè)技術(shù)特點(diǎn)：   

第一，易學(xué)易用的前端編程界面。飛槳通過編程一致的計(jì)算描述，直接以程序化的program形式描述神經(jīng)網(wǎng)絡(luò)執(zhí)行的計(jì)算過程，同時(shí)提供了一種完備的內(nèi)在描述ProgramDesc 來表達(dá)任意復(fù)雜的模型，實(shí)現(xiàn)了自然完備的動(dòng)靜統(tǒng)一。

進(jìn)一步，飛槳自2018年底擴(kuò)展支持的動(dòng)態(tài)圖目前也已得到深度優(yōu)化，全新的開發(fā)體驗(yàn)，編程交互更加自然靈活，更容易寫出優(yōu)雅的代碼。與此同時(shí)，飛槳近期新增的高層API同時(shí)屏蔽了動(dòng)靜的差異，可以使用一行命令方便地切換執(zhí)行模式，可極大降低編程復(fù)雜度。

第二，統(tǒng)一高效的內(nèi)部核心架構(gòu)。 飛槳目前有兩層 IR：program 對(duì)接用戶編程界面，簡潔完備地表達(dá)深度學(xué)習(xí)計(jì)算，還可以便捷地遷移變換，無縫對(duì)接分布式訓(xùn)練和推理部署，保證了整體架構(gòu)的一致性，而又不顯著增加復(fù)雜度；SSA Graph 則主要對(duì)接更底層的優(yōu)化策略，比如算子自動(dòng)融合，并發(fā)調(diào)度，易構(gòu)硬件執(zhí)行調(diào)度等等。兩層IR更好地銜接了前端和后端，兼顧和簡潔、高效和整體統(tǒng)一性。

近期進(jìn)一步的優(yōu)化升級(jí)包括：將飛槳的默認(rèn)顯存分配策略，升級(jí)為自動(dòng)按需分配，更加節(jié)省資源；完善通用算子自動(dòng)融合策略，進(jìn)一步提升了訓(xùn)練性能；建立了非常完備易用的自動(dòng)混合訓(xùn)練功能，充分發(fā)揮硬件優(yōu)勢(shì)，提升訓(xùn)練速度，同時(shí)配合前項(xiàng)中間層重計(jì)算策略，可以支持更大batch的訓(xùn)練。

第三，原生完備的分布式訓(xùn)練支持。眾所周知，飛槳的英文名Paddle便是并行分布式訓(xùn)練學(xué)習(xí)的縮寫，因而分布式作為飛槳與生俱來的特性，是其核心框架設(shè)計(jì)中非常重要的部分，完全不需要依賴其他外掛。從飛槳的單機(jī)程序，到多設(shè)備訓(xùn)練的擴(kuò)展，都只需要通過統(tǒng)一極簡的API和配置，剩下都是由框架自動(dòng)完成。

進(jìn)一步，百度對(duì)飛槳在分布式訓(xùn)練方面的優(yōu)化包括：新增了超大規(guī)模分類功能，通過模型并行實(shí)現(xiàn)對(duì)千萬類別分類任務(wù)的支持；完善了流水線并行，更好地發(fā)揮異構(gòu)設(shè)備的協(xié)同優(yōu)勢(shì)；同時(shí)對(duì)參數(shù)服務(wù)器功能進(jìn)行了整合優(yōu)化，使得功能更完善，使用更簡單。

第四，高性能可擴(kuò)展的推理引擎。飛槳的訓(xùn)練框架一體的原生推理系統(tǒng) Paddle Inference，原本便可與訓(xùn)練復(fù)用部分優(yōu)化策略，并在底層算子實(shí)現(xiàn)上完全一致，做到了百分百兼容，即訓(xùn)即用。

與此同時(shí)，飛槳也針對(duì)推理場(chǎng)景做了深度優(yōu)化，實(shí)現(xiàn)了對(duì)外部推理加速庫的可插拔加載，從而讓實(shí)現(xiàn)對(duì)部分計(jì)算的更靈活加速選擇。此外，在自有多硬件加速庫的基礎(chǔ)上，提供了獨(dú)立的輕量化推理引擎Paddle Lite，對(duì)端側(cè)任務(wù)提供高性能支持，并且在算子定義和模型表達(dá)層面，和核心框架保持一致。

于佃海總結(jié)道，目前為止飛槳核心框架整體上已經(jīng)形成了界面清晰、功能完備、成熟穩(wěn)定的架構(gòu)體系?；陲w槳框架已建成對(duì)深度學(xué)習(xí)核心任務(wù)全覆蓋的模型庫，并延展出圖學(xué)習(xí)PGL、深度強(qiáng)化學(xué)習(xí)PARL等非常多的衍生開發(fā)框架。

二、發(fā)布7項(xiàng)開源新產(chǎn)品，23項(xiàng)重要升級(jí)

百度深度學(xué)習(xí)技術(shù)平臺(tái)部高級(jí)總監(jiān)馬艷軍進(jìn)一步發(fā)布了側(cè)重于工業(yè)級(jí)應(yīng)用極致體驗(yàn)以及布局深度學(xué)習(xí)前沿技術(shù)兩個(gè)方向的7項(xiàng)開源產(chǎn)品，23項(xiàng)重要升級(jí)。     

開發(fā)方面，除了動(dòng)態(tài)圖和API 的升級(jí)，飛槳還將提供更多的官方模型庫和開發(fā)套件，方便開發(fā)者進(jìn)行低代碼的二次開發(fā)：官方模型庫新增了39個(gè)算法，總算法數(shù)量達(dá)到146個(gè)，預(yù)訓(xùn)練模型已有200多個(gè)；而在開發(fā)套件上，本次不僅升級(jí)和發(fā)布了視覺開發(fā)套件——端到端的圖像分類開發(fā)套件PaddleClas、目標(biāo)檢測(cè)開發(fā)套件PaddleDetection 的發(fā)布和升級(jí)，還發(fā)布了語音開發(fā)套件——端到端的語音合成開發(fā)套件Parakeet 。

訓(xùn)練升級(jí)上，主要包括三個(gè)方面，訓(xùn)練速度，顯存，和大規(guī)模分布式的擴(kuò)展能力。在訓(xùn)練速度上，升級(jí)了自動(dòng)混合精度訓(xùn)練，用一行代碼就可以實(shí)現(xiàn)訓(xùn)練速度提升兩倍；顯存策略方面，實(shí)現(xiàn)了重計(jì)算機(jī)制可用于訓(xùn)練極深網(wǎng)絡(luò)模型；分布式擴(kuò)展能力方面，提供非常易用的API，并新發(fā)布一個(gè)云端的任務(wù)提交工具PaddleCloud，進(jìn)一步在分布式訓(xùn)練技術(shù)方面，研發(fā)了數(shù)據(jù)并行、模型并行、流水線并行等完整的技術(shù)體系，并結(jié)合云端研發(fā)了彈性訓(xùn)練技術(shù)，其中模型并行和彈性訓(xùn)練是本次新增發(fā)布的能力。

推理部署上，不僅升級(jí)了模型優(yōu)化工具PaddleSlim，還升級(jí)了服務(wù)器端的推理引擎Paddle Inference，開發(fā)者可以通過PaddleServing來實(shí)現(xiàn)模型的服務(wù)化部署，與此同時(shí)還在移動(dòng)端和邊緣端的推理部署上進(jìn)行了升級(jí)，其中包括可在網(wǎng)頁端或者小程序上使用的預(yù)測(cè)推理引擎Paddle.js，面向移動(dòng)端和IOT場(chǎng)景提供的輕量化推理引擎Paddle Lite。

開源工具上，本次新發(fā)布的開源產(chǎn)品 PaddleX，可實(shí)現(xiàn)開發(fā)、訓(xùn)練和部署全流程的打通，并且能夠非常方便地實(shí)現(xiàn)快速集成。目前它已經(jīng)集成了很多款飛槳已經(jīng)開放出來的能力，把這些能力進(jìn)行流程上的打通之后，整個(gè)的使用體驗(yàn)和門檻都可以得到大幅的降低。

針對(duì)早在去年 WAVE SUMMIT峰會(huì)上發(fā)布的飛槳 Master模式，今年則實(shí)現(xiàn)了預(yù)訓(xùn)練模型和遷移學(xué)習(xí)工具兩項(xiàng)核心技術(shù)上的升級(jí)：預(yù)訓(xùn)練模型方面，重點(diǎn)聚焦超大規(guī)模視覺模型和NLP的語義理解模型ERNIE；遷移學(xué)習(xí)工具方面，則新增了多個(gè)遷移學(xué)習(xí)的算法，包括DELTA技術(shù)、deep transfer never hurt 算法，來提升應(yīng)用效果。

前沿技術(shù)方面，第一個(gè)是曾連續(xù)兩年獲得了NeurIPS強(qiáng)化學(xué)習(xí)賽事冠軍的飛槳強(qiáng)化學(xué)習(xí)工具——RARL，本次新增了多智能體算法的支持以及連續(xù)控制領(lǐng)域的SOTA算法，更好地支持強(qiáng)化學(xué)習(xí)前沿技術(shù)的研究；第二個(gè)是聯(lián)邦學(xué)習(xí)工具PaddleFL，本次也進(jìn)一步完善了端云協(xié)同訓(xùn)練，并開源了百萬級(jí)用戶設(shè)備的模擬器，方便快速迭代，另外在企業(yè)間聯(lián)邦學(xué)習(xí)方面新增了縱向聯(lián)邦學(xué)習(xí)的能力，方便開發(fā)者或者研究者基于這些工具去做自己的聯(lián)邦學(xué)習(xí)相關(guān)研究。

除此之外，飛槳也在圖神經(jīng)網(wǎng)絡(luò)、復(fù)數(shù)神經(jīng)網(wǎng)絡(luò)等方面實(shí)現(xiàn)了升級(jí)，以更好地支持前沿技術(shù)和跨學(xué)科的機(jī)器學(xué)習(xí)研究。

三、量槳，國內(nèi)首個(gè)量子機(jī)器學(xué)習(xí)開發(fā)工具

百度研究院量子計(jì)算研究所所長段潤堯發(fā)布了國內(nèi)首個(gè)（也是唯一一個(gè)，同時(shí)也是全球第二個(gè)）量子機(jī)器學(xué)習(xí)開發(fā)工具——量槳（Paddle Quantum），將峰會(huì)拉入高潮。      

簡單來說，Paddle Quantum 是一個(gè)基于百度開源框架PaddlePaddle的機(jī)器學(xué)習(xí)開發(fā)工具，支持量子神經(jīng)網(wǎng)絡(luò)的搭建與訓(xùn)練，提供易用的量子機(jī)器學(xué)習(xí)開發(fā)者套件與量子優(yōu)化、量子化學(xué)等前沿量子應(yīng)用工具集，相關(guān)量子算法的研究可以調(diào)用量槳內(nèi)部的計(jì)算框架，然后用 Python 編程完成運(yùn)算。

據(jù)段潤堯博士介紹，「量槳」特性有三，分別為：

• 易用性：提供簡潔的神經(jīng)網(wǎng)絡(luò)搭建與豐富的量子機(jī)器學(xué)習(xí)案例。

• 通用性與拓展性：支持常用量子電路模型，提供多項(xiàng)優(yōu)化工具。

• 特色工具集：提供量子優(yōu)化、量子化學(xué)等前沿量子應(yīng)用工具集，自研多項(xiàng)量子機(jī)器學(xué)習(xí)應(yīng)用。

量槳的量子機(jī)器學(xué)習(xí)開發(fā)套件包括：量子開發(fā)工具集，量子化學(xué)庫，以及一系列優(yōu)化工具。與此同時(shí)，在量槳的Github開源中，我們還可以看到一系列入門教程，涵蓋量子優(yōu)化、量子化學(xué)、量子機(jī)器學(xué)習(xí)等多個(gè)領(lǐng)域的經(jīng)典量子應(yīng)用。

過去幾年，盡管以深度學(xué)習(xí)為代表的機(jī)器學(xué)習(xí)方法在許多問題上產(chǎn)生了深遠(yuǎn)的影響。然而從長遠(yuǎn)來看，正如牛頓經(jīng)典力學(xué)并不能精確描述自然世界一樣，我們?nèi)粝肽M自然世界，經(jīng)典機(jī)器學(xué)習(xí)方法會(huì)顯得力有未逮，而量子機(jī)器學(xué)習(xí)方法則將成為必然。 如今，諸多科技巨頭相繼布局量子計(jì)算，由此也可見，在未來的10~20年內(nèi)，量子計(jì)算以及量子機(jī)器學(xué)習(xí)必將成為社會(huì)發(fā)展的重要推動(dòng)力。 

百度現(xiàn)在入手量子計(jì)算，或恰逢其時(shí)。  雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。