最近，國(guó)內(nèi)開源界發(fā)生了不少大事，繼清華開源了計(jì)圖，曠視開源天元之后，3 月 28 日，在華為開發(fā)者大會(huì) 2020（Cloud）第二天，華為宣布全場(chǎng)景 AI 計(jì)算框架 MindSpore 在碼云正式開源。

MindSpore 發(fā)布于 2019 年 8 月。華為公司輪值董事長(zhǎng)徐直軍表示，MindSpore 的推出，標(biāo)志著華為全棧全場(chǎng)景 AI 解決方案（Portfolio）的構(gòu)建，也標(biāo)志著華為 AI 戰(zhàn)略的執(zhí)行進(jìn)入了新的階段。

MindSpore開源并不意外，早在去年，華為就透露今年春天將開源MindSpore的消息。

 三大特性

AI 的研究和生產(chǎn)之間存在巨大的鴻溝。

一方面，在學(xué)術(shù)界，AI 相關(guān)的研究持續(xù)升溫，各種模型算法、訴求層出不窮；另一方面，工業(yè)界的 AI 模型應(yīng)用層出不窮。各種不同的場(chǎng)景，如平安城市、智慧交通、生物醫(yī)療等，都需要非常大的數(shù)據(jù)集和完備的功能，以適應(yīng)特定的需求。

現(xiàn)有的框架大多數(shù)開發(fā)門檻高，全場(chǎng)景能力不足，異構(gòu)性差。而使用 MindSpore 架構(gòu)就不用擔(dān)心這些問(wèn)題。

華為 MindSpore 首席科學(xué)家陳雷表示，它有以下三個(gè)特性：

• 開發(fā)態(tài)友好：AI算法即代碼

通過(guò)自動(dòng)微分、自動(dòng)運(yùn)行、自動(dòng)調(diào)優(yōu)，使代碼量減少20%，同時(shí)效率提升50%；

• 運(yùn)行態(tài)高效：面向昇芯片優(yōu)化

通過(guò)圖算子編譯加速以及神經(jīng)網(wǎng)絡(luò)并行，協(xié)同生成芯片的算力，實(shí)現(xiàn)1.6倍性能優(yōu)勢(shì)

• 部署態(tài)靈活：全場(chǎng)景按需協(xié)同

通過(guò)自適應(yīng)的部署技術(shù)，實(shí)現(xiàn)IoT設(shè)備到云靈活部署，它的模型可大可小。

自動(dòng)并行，降低開發(fā)門檻

在 AI 訓(xùn)練過(guò)程中，分布式訓(xùn)練非常重要。開發(fā)者不僅要設(shè)計(jì)算法邏輯，還需要分析數(shù)據(jù)量，參數(shù)量、網(wǎng)絡(luò)拓?fù)?，模型切分策略等，設(shè)計(jì)一個(gè)性能較好的并行訓(xùn)練策略。更糟糕的是，這些并行序列的優(yōu)化細(xì)節(jié)與算法業(yè)務(wù)無(wú)關(guān)，卻需要算法科學(xué)家進(jìn)行大量的工作。

隨著算法和模型越來(lái)越大，混合運(yùn)行尤其重要，為此 MindSpore 實(shí)現(xiàn)了自動(dòng)并行功能。只需要一行代碼就能自動(dòng)混合并行，無(wú)需關(guān)注系統(tǒng)細(xì)節(jié)，而且保證性能。

舉個(gè)例子，當(dāng)分類數(shù)逐漸增加到 1 千~3 萬(wàn)左右時(shí)，自動(dòng)并行跟手工并行策略性能持平；但是當(dāng)分類數(shù)增加到 6 萬(wàn)~13 萬(wàn)左右時(shí)，自動(dòng)并行的性能就完全超過(guò)了手工并行策略；當(dāng)分類數(shù)超過(guò) 26 萬(wàn)時(shí)，手工并行已經(jīng)法無(wú)執(zhí)行，而自動(dòng)并行則不受影響。

同時(shí)，MindSpore 用一行代碼完成了 PPT 調(diào)試和運(yùn)行的切換，既方便了用戶調(diào)試，又能保證運(yùn)行使用性能。

黑盒模型的調(diào)試也不用擔(dān)心。MindSpore 的可視化工具可以實(shí)現(xiàn)訓(xùn)練過(guò)程可視化、數(shù)據(jù)可視化、模型溯源、模型對(duì)比等功能。

在軟硬件協(xié)同加速方面，MindSpore 團(tuán)隊(duì)也做了很多工作。

在框架層，團(tuán)隊(duì)采取了 Pipeline 并行和跨層內(nèi)存復(fù)用的方法來(lái)進(jìn)行加速。數(shù)據(jù)流曲線是指在數(shù)據(jù)處理和模型訓(xùn)練過(guò)程中進(jìn)行內(nèi)部計(jì)算，利用訓(xùn)練的時(shí)間去覆蓋數(shù)據(jù)處理時(shí)間，保證生成芯片一直處于計(jì)算狀態(tài)，提高了芯片的利用率。

在軟硬協(xié)同方面，MindSpore 將整張計(jì)算中下沉到芯片，使得所有的計(jì)算都在芯片上運(yùn)行，這樣充分發(fā)揮了昇騰的算力。

4 月將進(jìn)行公測(cè)

今年 1 月，華為已經(jīng)同步完成了 HMS4.0 ML Kit 商用發(fā)布。在即將到來(lái)的 4 月，MindSpore 將在 ModelArts 實(shí)現(xiàn)公測(cè)。屆時(shí)，大家就可以體驗(yàn) MindSpore了。在端側(cè)，MindSpore 將在 HMS ML Kit 的智慧服務(wù)中提供 10 多種功能。

據(jù)陳雷透露，MindSpore 團(tuán)隊(duì)在近一年會(huì)根據(jù)用戶的反饋和訴求，持續(xù)調(diào)整計(jì)劃的優(yōu)先級(jí)。團(tuán)隊(duì)將提供更多的預(yù)置模型，補(bǔ)齊 API 和算法庫(kù)，不斷優(yōu)化性能和軟件架構(gòu)，完善可視化調(diào)整、調(diào)試、調(diào)優(yōu)安全和相關(guān)的工具。

在本次開源后，華為將致力于構(gòu)建碰蓬勃發(fā)展的生態(tài)。主要從開發(fā)者扶植、高?？蒲泻献?、開源社區(qū)合作三個(gè)方面著手。

• 開發(fā)者扶植：線上免費(fèi)體驗(yàn)資源、全年舉辦最少 10 場(chǎng)線下沙龍、舉辦 MindSpore 開發(fā)者大會(huì)；

• 高?？蒲泻献鳎簩ｍ?xiàng)基金課題開放(包括 AI+HPC、下一代框架)，MindSpore 教學(xué)扶植計(jì)劃；

• 開源社區(qū)：招募 Committer 參與社區(qū)項(xiàng)目。

傳送門：

• MindSpore 開源社區(qū)：https://www.mindspore.cn   

• MindSpore 代碼托管：https://gitee.com/mindspore 

雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。