雷鋒網(wǎng) AI 科技評(píng)論消息：5 月 22 日，為響應(yīng)國(guó)家人工智能戰(zhàn)略規(guī)劃以及教育部關(guān)于人工智能相關(guān)建設(shè)與發(fā)展的號(hào)召，微軟亞洲研究院宣布，聯(lián)手北京大學(xué)、中國(guó)科學(xué)技術(shù)大學(xué)、西安交通大學(xué)和浙江大學(xué)四所國(guó)內(nèi)頂級(jí)院校，共建新一代人工智能開(kāi)放科研教育平臺(tái)。雷鋒網(wǎng) AI 科技評(píng)論對(duì)本次平臺(tái)啟動(dòng)儀式的內(nèi)容整理如下。從學(xué)術(shù)開(kāi)發(fā)和企業(yè)活動(dòng)上看，MSRA 在雷鋒網(wǎng)學(xué)術(shù)頻道 AI 科技評(píng)論旗下數(shù)據(jù)庫(kù)項(xiàng)目「AI 影響因子」中有不錯(cuò)的表現(xiàn)。MSRA 近期承辦了 2018 微軟人工智能大會(huì)，微軟中英新聞翻譯達(dá)到人類水平，成績(jī)斐然，希望MSRA之后有更好的表現(xiàn)。

微軟全球資深副總裁、微軟亞太研發(fā)集團(tuán)主席兼微軟亞洲研究院院長(zhǎng)洪小文表示：「微軟亞洲研究院在人工智能基礎(chǔ)研究方面有著 20 年的積累，此次攜手國(guó)內(nèi)頂級(jí)高校共建新一代人工智能開(kāi)放科研教育平臺(tái)，我們的愿景在于進(jìn)一步將微軟的技術(shù)優(yōu)勢(shì)付諸平臺(tái)實(shí)踐，提升中國(guó)新一代人工智能領(lǐng)域的研發(fā)創(chuàng)新、人才培養(yǎng)、科學(xué)研究、社會(huì)服務(wù)能力。我們希望此次平臺(tái)成立翻開(kāi)產(chǎn)學(xué)研各界開(kāi)放共贏的新開(kāi)篇，并期待更多后續(xù)合作高校的加入」

到 2020 年，平臺(tái)計(jì)劃開(kāi)展超過(guò) 100 個(gè)聯(lián)合科研項(xiàng)目，開(kāi)設(shè)超過(guò) 200 個(gè)人工智能課程，幫助 2000 位以上的教師提升專業(yè)技能，并為超過(guò) 2 萬(wàn)名學(xué)生提供實(shí)踐實(shí)訓(xùn)的機(jī)會(huì)。

四大核心資源&服務(wù)

新一代人工智能開(kāi)放科研教育平臺(tái)將深度聚焦科研、教學(xué)與生態(tài)，面向中國(guó)高校提供技術(shù)支撐平臺(tái)、工具、數(shù)據(jù)和課程四大核心資源和服務(wù)。

支撐平臺(tái)：在新一代人工智能開(kāi)放科研教育平臺(tái)的合作框架下，微軟將推出 Open Platform for AI（Open PAI）人工智能管理和調(diào)度平臺(tái)，這是國(guó)內(nèi)首個(gè)針對(duì)深度學(xué)習(xí)領(lǐng)域由多方共同開(kāi)發(fā)的開(kāi)源平臺(tái)解決方案。合作各方將利用 Open PAI 開(kāi)放、開(kāi)源、兼容的特性，以及微軟強(qiáng)大的計(jì)算能力和資源，建立屬于自己的人工智能基礎(chǔ)支撐平臺(tái)，并享有自主產(chǎn)權(quán)和創(chuàng)新成果，為各自學(xué)校內(nèi)部提供人工智能領(lǐng)域的創(chuàng)新和教育服務(wù)支持工作。

工具：為了幫助平臺(tái)合作高校更輕松地享受到人工智能領(lǐng)域中間技術(shù)層和深入業(yè)務(wù)的上層應(yīng)用這兩層關(guān)鍵技術(shù)能力帶來(lái)的益處，微軟將提供業(yè)界第一款針對(duì)人工智能全生命周期集成開(kāi)發(fā)的環(huán)境——Tools For AI，以及微軟在語(yǔ)音、語(yǔ)言、視覺(jué)等核心技術(shù)范疇內(nèi)的開(kāi)源工具。同時(shí)，平臺(tái)還將集成高校在各自領(lǐng)域里的優(yōu)質(zhì)開(kāi)源工具。

數(shù)據(jù)：在平臺(tái)合作框架下，微軟將開(kāi)放自身人工智能領(lǐng)域的數(shù)據(jù)集供合作高校科研和教育使用，各高校也將通過(guò)平臺(tái)貢獻(xiàn)各自在多個(gè)領(lǐng)域的數(shù)據(jù)集，如中國(guó)科學(xué)技術(shù)大學(xué)國(guó)家類腦實(shí)驗(yàn)室的海量類腦數(shù)據(jù)等。

課程：微軟將積極整合自身人工智能的技術(shù)和專家積累，兼顧實(shí)戰(zhàn)和知識(shí)，開(kāi)發(fā)并開(kāi)放一套人工智能模塊化課程，同時(shí)平臺(tái)還將聯(lián)合高校專家，共同合作開(kāi)發(fā)一系列具有推廣和示范性意義的、符合高校教學(xué)理念的人工智能系列課程。平臺(tái)合作高校也將根據(jù)自身學(xué)校學(xué)科建設(shè)和人才培養(yǎng)方案，定制出具有國(guó)際化水平的人工智能專業(yè)和實(shí)踐課程。

OpenPAI

微軟亞洲研究院為新一代人工智能開(kāi)放科研教育平臺(tái)提供的三大關(guān)鍵技術(shù)之一，Open Platform for AI（OpenPAI）備受矚目。

OpenPAI 是由微軟亞洲研究院和微軟（亞洲）互聯(lián)網(wǎng)工程院聯(lián)合研發(fā)的，支持多種深度學(xué)習(xí)、機(jī)器學(xué)習(xí)及大數(shù)據(jù)任務(wù)，可提供大規(guī)模 GPU 集群調(diào)度、集群監(jiān)控、任務(wù)監(jiān)控、分布式存儲(chǔ)等功能。

OpenPAI 的架構(gòu)如下圖所示，用戶通過(guò) Web Portal 調(diào)用 REST Server 的 API 提交作業(yè)（Job）和監(jiān)控集群，其他第三方工具也可通過(guò)該 API 進(jìn)行任務(wù)管理。隨后 REST Server 與 Launcher 交互，以執(zhí)行各種作業(yè)，再由 Launcher Server 處理作業(yè)請(qǐng)求并將其提交至 Hadoop YARN 進(jìn)行資源分配與調(diào)度。可以看到，OpenPAI 給 YARN 添加了 GPU 支持，使其能將 GPU 作為可計(jì)算資源調(diào)度，助力深度學(xué)習(xí)。其中，YARN 負(fù)責(zé)作業(yè)的管理，其他靜態(tài)資源（下圖藍(lán)色方框所示）則由 Kubernetes 進(jìn)行管理。

OpenPAI 完全基于微服務(wù)架構(gòu)，所有的 OpenPAI 服務(wù)和 AI Job 均在容器中運(yùn)行，這樣的設(shè)計(jì)讓 OpenPAI 的部署更加簡(jiǎn)單，無(wú)論是在 Ubuntu 裸機(jī)集群還是在云服務(wù)器上，僅需運(yùn)行幾個(gè)腳本即可完成部署。這同時(shí)也使其能夠支持多種不同類型的 AI 任務(wù)，如 CNTK、TensorFlow、PyTorch 等不同的深度學(xué)習(xí)框架。此外，用戶通過(guò)自定義 Job 容器即可支持新的深度學(xué)習(xí)框架和其他機(jī)器學(xué)習(xí)、大數(shù)據(jù)等 AI 任務(wù)，具有很強(qiáng)的擴(kuò)展性。

在運(yùn)維方面，OpenPAI 提供了 AI 任務(wù)在線調(diào)試、錯(cuò)誤報(bào)警、日志管理、性能檢測(cè)等功能，顯著降低了 AI 平臺(tái)的日常運(yùn)維難度。同時(shí)，它還支持 MPI、RDMA 網(wǎng)絡(luò)，可滿足企業(yè)對(duì)大規(guī)模深度學(xué)習(xí)任務(wù)的性能要求。

不僅如此，OpenPAI 還實(shí)現(xiàn)了與 Visual Studio 的集成。Visual Studio Tools for AI 是微軟 Visual Studio 2017 IDE 的擴(kuò)展，用戶在 Visual Studio 中就可以開(kāi)發(fā)、調(diào)試和部署深度學(xué)習(xí)和 AI 解決方案。集成后，用戶在 Visual Studio 中調(diào)試好的模型可便捷地部署到 OpenPAI 集群中。

OpenPAI 五大優(yōu)勢(shì)

由上文可見(jiàn) OpenPAI 具有如下五大優(yōu)勢(shì)。

為深度學(xué)習(xí)量身定做，可擴(kuò)展支撐更多 AI 和大數(shù)據(jù)框架

通過(guò)創(chuàng)新的 PAI 運(yùn)行環(huán)境支持，幾乎所有深度學(xué)習(xí)框架如 CNTK，TensorFlow, PyTorch 等無(wú)需修改即可運(yùn)行；其基于 Docker 的架構(gòu)則讓用戶可以方便地?cái)U(kuò)展更多 AI 與大數(shù)據(jù)框架。

容器與微服務(wù)化，讓 AI 流水線實(shí)現(xiàn) DevOps

OpenPAI 100% 基于微服務(wù)架構(gòu)，讓 AI 平臺(tái)以及開(kāi)發(fā)便于實(shí)現(xiàn) DevOps 的開(kāi)發(fā)運(yùn)維模式。

支持 GPU 多租，可統(tǒng)籌集群資源調(diào)度與服務(wù)管理能力

在深度學(xué)習(xí)負(fù)載下，GPU 逐漸成為資源調(diào)度的一等公民，OpenPAI 提供了針對(duì) GPU 優(yōu)化的調(diào)度算法，豐富的端口管理，支持 Virtual Cluster 多租機(jī)制，可通過(guò) Launcher Server 為服務(wù)作業(yè)的運(yùn)行保駕護(hù)航。

提供豐富的運(yùn)營(yíng)、監(jiān)控、調(diào)試功能，降低運(yùn)維復(fù)雜度

OpenPAI 為運(yùn)營(yíng)人員提供了硬件、服務(wù)、作業(yè)的多級(jí)監(jiān)控，同時(shí)開(kāi)發(fā)者還可以通過(guò)日志，ssh 等方便調(diào)試作業(yè)。

兼容AI開(kāi)發(fā)工具生態(tài)

平臺(tái)實(shí)現(xiàn)了與 Visual Studio Tools for AI 等開(kāi)發(fā)工具的深度集成，用戶可以一站式進(jìn)行 AI 開(kāi)發(fā)。

入門 OpenPAI

本次會(huì)議微軟亞洲研究院還為大家提供了 OpenPAI 的入門教程。

首先是平臺(tái)部署：

1. 編譯支持 GPU 調(diào)度的 Hadoop AI 容器，詳見(jiàn)https://github.com/Microsoft/pai/blob/master/hadoop-ai/README.md

2. 部署 Kubernetes 以及系統(tǒng)服務(wù)（如 drivers、zookeeper、REST Server 等）。詳見(jiàn)https://github.com/Microsoft/pai/blob/master/pai-management/README.md

3. 訪問(wèn) Web Portal 進(jìn)行任務(wù)提交和集群管理。

然后是提交深度學(xué)習(xí) Job 示例

1. 將你的數(shù)據(jù)和代碼上傳至 HDFS：如用 hdfs 命令行將數(shù)據(jù)上傳至hdfs://host:port/path/tensorflow-distributed-jobguid/data
   

2. 準(zhǔn)備 Job 配置文件：詳見(jiàn)https://github.com/Microsoft/pai/tree/master/job-tutorial

3. 瀏覽 Web Portal，點(diǎn)擊"Submit Job"上傳配置文件，即可提交你的 Job。

具體學(xué)習(xí)和體驗(yàn) OpenPAI，請(qǐng)點(diǎn)擊https://github.com/Microsoft/pai

以上就是雷鋒網(wǎng) AI 科技評(píng)論對(duì)本次 MSRA 承辦的新一代人工智能開(kāi)放科研教育平臺(tái)啟動(dòng)儀式的全部報(bào)道。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。