0
今年的2020華為全聯(lián)接大會,又是一次華為云AI的大秀。無論是郭平、徐直軍的戰(zhàn)略部署,還是侯金龍和鄭葉來的具體演說,云與AI無疑都是華為今天重金投入的新技術。
AI的背后是數(shù)據(jù)和應用,而這兩樣背后,都是專注創(chuàng)新的開發(fā)者在默默努力。從近兩年的云&AI行業(yè)趨勢看,“取悅開發(fā)者”是一個必然的趨勢,他們對技術的變化是最為敏感的,也是云&AI得以落地的關鍵環(huán)節(jié)。
也因此,圍繞開發(fā)者們構建的AI開發(fā)平臺逐漸從幕后走到臺前。從業(yè)內(nèi)來看,頭部的幾家云廠商們紛紛祭出大招,比如華為云在2018年就推出ModelArts AI開發(fā)平臺,阿里云以ET大腦的方式構建各行業(yè)AI開放能力,騰訊云則部署其AI平臺云智天樞TI Matrix,百度云則持續(xù)推進EsayDL AI開發(fā)平臺的應用。
在9月25日的華為全聯(lián)接大會的第三天,華為云把重要信號留在了最后:宣布華為云ModelArts 3.0版本出爐。
無疑,這個新版本的推出又給AI開發(fā)者帶來了福利。
華為云ModelArts 3.0的推陳出新
具體而言,現(xiàn)場發(fā)布的這套ModelArts平臺 3.0版本,支持10萬級別的企業(yè)任務同時運行,支持10萬級別的用戶規(guī)模同時使用,為開發(fā)者創(chuàng)造良好的AI開發(fā)環(huán)境,使其專注做創(chuàng)新的事情。
一般而言,優(yōu)秀的分布式加速比是大規(guī)模集群分布式訓練的關鍵能力,也是促使用戶選擇使用大規(guī)模集群來加速AI業(yè)務的關鍵因素,華為云ModelArts領先的分布式加速比能力,在512芯片的集群規(guī)模下成績?yōu)?3.6秒,優(yōu)于NVIDIA V100的120秒。
從功能上看,ModelArts 3.0版本相比之前帶來了4個小驚喜:
1. 華為云EI骨干模型:基于行業(yè)小樣本數(shù)據(jù)訓練高精度模型
過去需要大量專家經(jīng)驗的模型選擇和參數(shù)調(diào)節(jié),有了華為云的全空間網(wǎng)絡架構搜索和自動超參優(yōu)化技術,可以在無需人工干預的情況下高效完成。過去需要幾周甚至更長時間的模型訓練和部署,有了華為云的計算資源調(diào)配和數(shù)據(jù)管理,可以縮短到幾小時內(nèi)甚至幾分鐘完成。
2. 聯(lián)邦學習:打破數(shù)據(jù)孤島,推動行業(yè)聯(lián)合建模
數(shù)據(jù)是AI應用的基礎,只有基于多樣化的數(shù)據(jù),才能實現(xiàn)AI智能感知。然而,在實際AI行業(yè)落地中,數(shù)據(jù)是分散在不同的數(shù)據(jù)控制者之間,這就導致了行業(yè)AI應用的數(shù)據(jù)孤島問題,使得AI算法訓練效果受到限制。
針對這個問題,華為云ModelArts提供聯(lián)邦學習特性,用戶各自利用本地數(shù)據(jù)訓練,不交換數(shù)據(jù)本身,只用加密方式交換更新的模型參數(shù),實現(xiàn)聯(lián)合建模。
3. 模型智能評估、診斷:降低AI行業(yè)落地門檻
在ModelArts上使用模型評估功能,是在得到首次訓練的模型之后,先將模型推理結果、原始圖像和真實標簽送入模型評估模塊中,這個模塊會從數(shù)據(jù)、模型兩個方面對模型的綜合能力,包括精度、性能、可信和可解釋性進行綜合評估,最終針對可能存在的問題輸出一些改進模型能力的診斷建議。開發(fā)者在這些建議的幫助下,使模型達標,并最終部署成能實際應用的推理服務。
4. 高性能AI計算:資源靈活調(diào)度加速行業(yè)AI落地
作為AI平臺云服務,彈性訓練是ModelArts推出的核心能力之一,可以根據(jù)模型訓練速度的要求自適應匹配最佳資源數(shù)。
具體在產(chǎn)品上,ModelArts提供兩種模式:
一是Turbo模式,可以充分利用空閑資源加速已有訓練作業(yè),在大多數(shù)典型場景下加速效率大于80%,訓練速度提升10倍,并且不影響模型收斂精度;
二是Economic模式,可以通過最大化資源利用率給開發(fā)者提供極致的性價比,在大多數(shù)典型場景下可以提升性價比30%以上,并且不影響模型收斂精度。
變與不變
可以看到,在新版本中,華為云帶來了新的玩法,提供全流程極簡開發(fā)工具,即使是普通的業(yè)務人員,基于已有組件,通過拖拽方式即可構建應用。這背后,ModelArts平臺的本質(zhì)并無二致,依舊是圍繞著開發(fā)者的需求與痛點展開,通過AI模型不斷地和實際落地場景交互來得到更優(yōu)的模型,進而提升AI開發(fā)流程的效率。
在1.0版本中(2018年),ModelArts解決了AI一站式開發(fā)的行業(yè)痛點,華為云打造了一款比行業(yè)更快的AI平臺,致敬開發(fā)者。
在2.0版本中(2019年),新增自動學習、端邊云能力協(xié)同,ModelArts關鍵能力凸顯。ModelArts 2.0以全流程的極簡和自動化升級已有的AI開發(fā)模式,讓數(shù)據(jù)準備、算法開發(fā)、模型訓練、模型管理、模型推理全鏈條產(chǎn)生質(zhì)的飛越。
而在3.0版本中(2020年),平臺駛入深水區(qū),輔助AI深入到各行業(yè)生產(chǎn)系統(tǒng)。目前華為云已在10多個行業(yè)成功交付了600多個AI項目,積累了豐富的經(jīng)驗。為了解決企業(yè)深入使用端到端生產(chǎn)而推出骨干模型、聯(lián)邦學習等新功能。華為云EI骨干模型(EI-Backbone)技術,基于行業(yè)小樣本數(shù)據(jù)訓練高精度模型,提供了AI開發(fā)的新范式。
可見,版本的演進背后,是新技術趨勢不斷與行業(yè)生產(chǎn)結合,是數(shù)字世界供給與物理世界需求不斷碰撞的結果。
一直以來,深度學習分布式訓練不斷發(fā)展,各類模型的訓練對于計算設備的需求越來越大,不過由于各種原因,訓練作業(yè)的資源還沒有被充分利用。比如l訓練算法代碼本身質(zhì)量不高、資源利用率低;模型大小和超參數(shù)的設置也會顯著地改變計算資源的利用率;資源池整體利用率有波動,類似于“峰谷電”,訓練作業(yè)的提交也有高峰期和低谷期,造成很大的資源浪費。
這就不得不提到彈性訓練。
彈性訓練作為ModelArts的核心能力之一,2年來一直在自我錘煉,根據(jù)模型訓練速度的需求自適應實現(xiàn)資源的最佳分配。ModelArts提供兩種模式,一是Turbo模式,可以充分利用空閑資源加速已有訓練作業(yè),訓練速度可提升10倍以上,并且不影響模型的收斂精度;二是經(jīng)濟模式,可以通過最大化資源利用率給開發(fā)者提供極致的性價比,在大多數(shù)典型場景下可以提升性價比30%以上。
可見,智能并不是一蹴而就的,而是逐漸進化的,最終從AI開發(fā)環(huán)節(jié)進入到AI落地的每一個場景。
客戶“用腳投票”背后的價值體現(xiàn)
客戶是喜歡用腳投票的——這一點體現(xiàn)在ModelArts 的行業(yè)落地屬性上。有2個案例非常經(jīng)典,一個是華為云ModelArts支持候鳥保護計劃,另一個是華為云ModelArts正在支持中科院構建斑馬魚的全腦圖譜。
注:候鳥保護,華為做了什么
在另一個項目中,中科院正在基于ModelArts繪制斑馬魚腦聯(lián)接組的全息地圖,目前重構準確率和召回率已達95%。
中科院腦智卓越中心是一所將腦科學與智能技術相結合的研究實體,是一個了解大腦如何實現(xiàn)各種認知功能的一個機構,首先需要完成一個重要且必要的大科學工程,就是繪制全腦聯(lián)接圖譜。
其原理是:借助斑馬魚幼魚透明的特點,機構可以應用鈣成像技術來觀察活體斑馬魚全腦10萬個神經(jīng)元的時空放電,從而繪制從各種感覺輸入到行為輸出的全腦活動圖譜,并結合結構圖譜來發(fā)掘大腦如何工作的普適規(guī)律,進而進行腦功能模擬和理論研究。
通過和華為合作,應用華為云ModelArts平臺,使用用360條斑馬魚圖像樣樣本所包含的近20萬圖像塊的“金標準”標注數(shù)據(jù),訓練出了從前期圖像分割到后期神經(jīng)元形態(tài)追蹤的一整套網(wǎng)絡。
目前重構準確率和召回率已達95%,如果使用多機并行計算,從理論上推算下來,10萬個神經(jīng)元的總重構時間可以從125年縮短至10天。如果再擴展到小鼠甚至非人靈長類如獼猴,降本增效方面將更加可觀。
當然,這離不開生命科學的知識和技術,也綜合交叉了數(shù)學等學科,但是計算機科學特別是AI領域的技術與知識,正成為人類的助手,幫助人類繪制腦圖譜,更幫助人類實現(xiàn)新領域的突破。
云上開發(fā)必將成大勢,商業(yè)價值轉化也在加速
就像鄭葉來在現(xiàn)場提到的那樣,目前越來越多的人加入到開發(fā)者隊列里來,而更好的工具將為他們創(chuàng)造更高的技術起點、更敏捷的構建能力、更廣闊的商業(yè)成功,未來“云上開發(fā)”可以解決目前面臨的困難。
截止到目前,華為云已經(jīng)提供超過210個云服務,服務全球150萬開發(fā)者,華為云Marketplace和華為AppGallery已經(jīng)做了強強聯(lián)合,TO B(SaaS扶持計劃)和TO C(HMS生態(tài)扶持計劃)兩條腿一起走,加速商業(yè)價值轉化。(雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng))
雷峰網(wǎng)原創(chuàng)文章,未經(jīng)授權禁止轉載。詳情見轉載須知。