0
本文作者: 張夢華 | 2020-03-02 20:28 |
開源越來越被證明為大勢所向。雷鋒網(wǎng)獲悉,近日,國內(nèi)計算機視覺企業(yè)曠視傳出,最快將在 3 月底開源其基于計算平臺 Brain++ 的深度學習框架 MegEngine 。屆時,復工、開學的企業(yè)、學生開發(fā)者們也將獲得更多選擇。
曠視CEO 印奇曾公開表示:“深度學習是曠視的核心競爭力,也是支撐人工智能革命的關(guān)鍵?!逼湓谏疃葘W習中的重要驅(qū)動便是 Brain++ 。
2019 年的世界互聯(lián)網(wǎng)大會上,曠視在入選“國家新一代圖像感知人工智能開放創(chuàng)新平臺”的同時,發(fā)布了端到端的人工智能算法平臺 Brain++,后者集成了數(shù)據(jù)管理、自動化算法研發(fā)和算力調(diào)度能力,其架構(gòu)主要包括三部分:作為主體的深度學習算法開發(fā)框架 MegEngine ,提供算力支持的 MegCompute,提供數(shù)據(jù)支持的 MegData 。
今年已經(jīng)成立近 10 個年頭的曠視一直聚焦計算機視覺,因此,和目前通用的深度學習框架相比,MegEngine 更垂直于計算機視覺應(yīng)用,加上近幾年公司在物聯(lián)網(wǎng)產(chǎn)業(yè)不斷提速的商業(yè)落地,從眾多業(yè)務(wù)場景中獲取的數(shù)據(jù)能力也給予了 MegEngine 更扎實的應(yīng)用能力。而開源也意味著,作為視覺領(lǐng)域的頭部級公司,曠視已經(jīng)在建設(shè)自己的開發(fā)者生態(tài)上做足了準備。
2012 年后,深度學習的發(fā)展帶動人工智能進入拐點,前者擁有高于傳統(tǒng)機器學習十倍、百倍的神經(jīng)網(wǎng)絡(luò)參數(shù),在人工智能最先落地的語音識別、圖像識別領(lǐng)域,深度學習都是不可或缺的重要工具。商業(yè)落地中的數(shù)據(jù)反哺,也帶動了算力、框架上的不斷升級。開發(fā)者口中通用的深度學習開源框架基本不出這幾種:TensorFlow、 PyTorch、Caffe、CNTK、ONNX 等,這背后又分別站著谷歌、Facebook、微軟等巨頭。
在國內(nèi),業(yè)內(nèi)的共識近幾年不斷被強化,即人工智能給了中國企業(yè)、產(chǎn)業(yè)彎道超車的機會,但如果在人工智能發(fā)展中重要的深度學習中一直處于被動,前者的概率也將被大大壓縮。
而除去開發(fā)工具的語言問題,安全性、適用性等需求也在倒逼中國企業(yè)在深度學習框架上建立自己的領(lǐng)地,國內(nèi)頭部企業(yè)已在此做出不少投入:
比如2016 年 8 月底,百度在宣布“All in AI ”的前一年,開源了自研深度學習平臺 PaddlePaddle;2018 年 10 月,華為發(fā)布了自研深度學習框架 MindSpore ,雖然沒有官宣,但關(guān)于其開源的消息已經(jīng)出現(xiàn)不少雨點。
有頭部公司的示范效應(yīng),起家于AI 的曠視,相比大廠在AI 人才、數(shù)據(jù)、算法上有更深的積淀,要在開源上出一份力也不足為奇。鑒于開源在企業(yè)人才貢獻、代碼維護、企業(yè)文化、技術(shù)影響力等方面的正面效應(yīng),勢必也將有越來越多的互聯(lián)網(wǎng)和科技企業(yè)加入中國開源生態(tài)的建設(shè)中來。
歷經(jīng)近6年的打磨,MegEngine 的框架一直緊跟曠視的應(yīng)用場景調(diào)整升級,尤其針對國內(nèi)需求,相比 TensorFlow、PyTorch 適用性更加突出。
整體上,Brain++ 可針對視覺任務(wù)定制化優(yōu)化,更好滿足大量圖像及視頻訓練,完成圖像分類、物體檢測、物體場景分割、影像分析等復雜的視覺任務(wù)。
值得一提的是,作為 Brain++ 最為核心的引擎框架,MegEngine 配備了 AutoML 技術(shù),將深度神經(jīng)網(wǎng)絡(luò)設(shè)計、參數(shù)調(diào)整及設(shè)備適配等過程自動化,提高開發(fā)效率,同時可智能調(diào)度平臺硬件基礎(chǔ)設(shè)施的計算能力,支持數(shù)百名研究人員同時在數(shù)萬個 GPU 芯片上執(zhí)行從數(shù)百到數(shù)千個訓練任務(wù)。
曠視從 2014 年開始,內(nèi)部成立了“Engine”小組自研深度學習框架,經(jīng)過5年多的打磨和實踐,MegEngine 已經(jīng)逐漸成為支撐其算法研究開發(fā)的底層平臺,并在曠視實現(xiàn)全員使用。近幾年,曠視的計算機視覺技術(shù)在智慧城市、智慧物流、智慧零售中的落地逐漸加快,其算力及深度學習框架也在海量數(shù)據(jù)的補給中更加茁壯。
據(jù)了解,MegEngine 基于C++開發(fā),可幫助用戶借助編程語言進行高性能的運算執(zhí)行。同時曠視在框架內(nèi)部,使用了目前流行的計算圖方式,但是和其他框架不同,MegEngine 使用的是異構(gòu)架構(gòu),方便使用框架進行分布式計算。
此外,MegEngine 內(nèi)部的計算以算子的形式進行,它支持多種算子節(jié)點和變量算子,包括常用的卷積、全連接、ReLU 和用戶可定制的算子,甚至可以計算二階梯度,從而進行更多底層和靈活的運算。
可以說,MegEngine 在盡全力提升深度學習計算性能的基礎(chǔ)上,為用戶提供了靈活易用的模型構(gòu)建工具,極大地提升了開發(fā)效率。相比于很多深度學習開源框架,MegEngine 的特點也非常明顯:
首先在運算速度上,曠視 MegEngine 具備高性能計算核心,動態(tài)靜態(tài)結(jié)合的內(nèi)存優(yōu)化機制運算速度更快,且占用更少的內(nèi)存資源;其次在易用性上,MegEngine 封裝了平臺細節(jié),且接口兼容 PyTorch,新人用戶可快速上手;最后,MegEngine 還支持多種硬件平臺和異構(gòu)計算,整個框架既可用于訓練又同時支持推理,實現(xiàn)模型一次訓練,多設(shè)備部署,能夠免除了不必要的轉(zhuǎn)換流程導致的性能下降和精度損失。
除以上性能,MegEngine 據(jù)稱也為 IoT 和視覺任務(wù)進行了特別的優(yōu)化,廣泛支持各種芯片。通過領(lǐng)先的量化計算支持,其可以通過統(tǒng)一量化模型來支持多種設(shè)備,同時支持低于8bit 的網(wǎng)絡(luò)推理。
深度學習框架對于人工智能發(fā)展的推動作用自是不言而喻,但框架安裝、部署、上手使用一直是難點,要針對不同硬件、模型、內(nèi)存做調(diào)試。而 MegEngine 做了相應(yīng)的自動化和封裝,使得門檻大大降低,初級開發(fā)者也能掌握。正如深度學習框架降低了 AI 的門檻,MegEngine 又進一步降低了框架本身的部署、使用門檻。
曠視是趕上深度學習興起的第一批科技新創(chuàng)企業(yè),三位創(chuàng)始人印奇、唐文斌、楊沐均出自清華姚班,代表著國內(nèi)第一批最優(yōu)秀的人工智能從業(yè)者。尤其近幾年,曠視技術(shù)團隊更在國際比賽中成績不俗。
雷鋒網(wǎng)注:曠視團隊獲得 COCO 2019 三項冠軍
2017 年 ,曠視獲得 MC COCO 挑戰(zhàn)賽物體檢測、人體關(guān)鍵點檢測第一名和物體分割的第二名,參賽團隊則是谷歌、Facebook、微軟、卡耐基·梅隆大學等實力競隊;2018 年,曠視團隊又包攬了 3 項 MC COCO 比賽冠軍和一項 Mapillary 比賽冠軍;2019 年,曠視再次在物體檢測、人體關(guān)鍵點和全景分割三項比賽中獲得冠軍。COCO 三連冠的成績在國內(nèi)史無前例。
2019 年 4 月,曠視又推出了物體檢測數(shù)據(jù)集 Objects365,第一批開放 63 萬張圖像,擁有高達 1000 萬的標注框,量級分別是目前全球最權(quán)威的物體檢測數(shù)據(jù)集 MS COCO 的 5 倍和 11 倍。
TensorFlow、PyTorch 在開發(fā)者中的口碑、影響力或許一時一刻很難被替代,但若曠視在深度學習框架的開源上能為后來者打個樣,對國內(nèi)人工智能產(chǎn)業(yè)界不失為一件值得興奮的事。
雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章,未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。