0
雷鋒網(wǎng) AI 科技評論消息：5 月 22 日，為響應國家人工智能戰(zhàn)略規(guī)劃以及教育部關于人工智能相關建設與發(fā)展的號召，微軟亞洲研究院宣布，聯(lián)手北京大學、中國科學技術大學、西安交通大學和浙江大學四所國內(nèi)頂級院校，共建新一代人工智能開放科研教育平臺。雷鋒網(wǎng) AI 科技評論對本次平臺啟動儀式的內(nèi)容整理如下。從學術開發(fā)和企業(yè)活動上看，MSRA 在雷鋒網(wǎng)學術頻道 AI 科技評論旗下數(shù)據(jù)庫項目「AI 影響因子」中有不錯的表現(xiàn)。MSRA 近期承辦了 2018 微軟人工智能大會，微軟中英新聞翻譯達到人類水平，成績斐然，希望MSRA之后有更好的表現(xiàn)。
微軟全球資深副總裁、微軟亞太研發(fā)集團主席兼微軟亞洲研究院院長洪小文表示：「微軟亞洲研究院在人工智能基礎研究方面有著 20 年的積累，此次攜手國內(nèi)頂級高校共建新一代人工智能開放科研教育平臺，我們的愿景在于進一步將微軟的技術優(yōu)勢付諸平臺實踐，提升中國新一代人工智能領域的研發(fā)創(chuàng)新、人才培養(yǎng)、科學研究、社會服務能力。我們希望此次平臺成立翻開產(chǎn)學研各界開放共贏的新開篇，并期待更多后續(xù)合作高校的加入」
到 2020 年，平臺計劃開展超過 100 個聯(lián)合科研項目，開設超過 200 個人工智能課程，幫助 2000 位以上的教師提升專業(yè)技能，并為超過 2 萬名學生提供實踐實訓的機會。
新一代人工智能開放科研教育平臺將深度聚焦科研、教學與生態(tài)，面向中國高校提供技術支撐平臺、工具、數(shù)據(jù)和課程四大核心資源和服務。
支撐平臺：在新一代人工智能開放科研教育平臺的合作框架下，微軟將推出 Open Platform for AI（Open PAI）人工智能管理和調(diào)度平臺，這是國內(nèi)首個針對深度學習領域由多方共同開發(fā)的開源平臺解決方案。合作各方將利用 Open PAI 開放、開源、兼容的特性，以及微軟強大的計算能力和資源，建立屬于自己的人工智能基礎支撐平臺，并享有自主產(chǎn)權和創(chuàng)新成果，為各自學校內(nèi)部提供人工智能領域的創(chuàng)新和教育服務支持工作。
工具：為了幫助平臺合作高校更輕松地享受到人工智能領域中間技術層和深入業(yè)務的上層應用這兩層關鍵技術能力帶來的益處，微軟將提供業(yè)界第一款針對人工智能全生命周期集成開發(fā)的環(huán)境——Tools For AI，以及微軟在語音、語言、視覺等核心技術范疇內(nèi)的開源工具。同時，平臺還將集成高校在各自領域里的優(yōu)質(zhì)開源工具。
數(shù)據(jù)：在平臺合作框架下，微軟將開放自身人工智能領域的數(shù)據(jù)集供合作高校科研和教育使用，各高校也將通過平臺貢獻各自在多個領域的數(shù)據(jù)集，如中國科學技術大學國家類腦實驗室的海量類腦數(shù)據(jù)等。
課程：微軟將積極整合自身人工智能的技術和專家積累，兼顧實戰(zhàn)和知識，開發(fā)并開放一套人工智能模塊化課程，同時平臺還將聯(lián)合高校專家，共同合作開發(fā)一系列具有推廣和示范性意義的、符合高校教學理念的人工智能系列課程。平臺合作高校也將根據(jù)自身學校學科建設和人才培養(yǎng)方案，定制出具有國際化水平的人工智能專業(yè)和實踐課程。
微軟亞洲研究院為新一代人工智能開放科研教育平臺提供的三大關鍵技術之一，Open Platform for AI（OpenPAI）備受矚目。
OpenPAI 是由微軟亞洲研究院和微軟（亞洲）互聯(lián)網(wǎng)工程院聯(lián)合研發(fā)的，支持多種深度學習、機器學習及大數(shù)據(jù)任務，可提供大規(guī)模 GPU 集群調(diào)度、集群監(jiān)控、任務監(jiān)控、分布式存儲等功能。
OpenPAI 的架構如下圖所示，用戶通過 Web Portal 調(diào)用 REST Server 的 API 提交作業(yè)（Job）和監(jiān)控集群，其他第三方工具也可通過該 API 進行任務管理。隨后 REST Server 與 Launcher 交互，以執(zhí)行各種作業(yè)，再由 Launcher Server 處理作業(yè)請求并將其提交至 Hadoop YARN 進行資源分配與調(diào)度?？梢钥吹?，OpenPAI 給 YARN 添加了 GPU 支持，使其能將 GPU 作為可計算資源調(diào)度，助力深度學習。其中，YARN 負責作業(yè)的管理，其他靜態(tài)資源（下圖藍色方框所示）則由 Kubernetes 進行管理。
OpenPAI 完全基于微服務架構，所有的 OpenPAI 服務和 AI Job 均在容器中運行，這樣的設計讓 OpenPAI 的部署更加簡單，無論是在 Ubuntu 裸機集群還是在云服務器上，僅需運行幾個腳本即可完成部署。這同時也使其能夠支持多種不同類型的 AI 任務，如 CNTK、TensorFlow、PyTorch 等不同的深度學習框架。此外，用戶通過自定義 Job 容器即可支持新的深度學習框架和其他機器學習、大數(shù)據(jù)等 AI 任務，具有很強的擴展性。
在運維方面，OpenPAI 提供了 AI 任務在線調(diào)試、錯誤報警、日志管理、性能檢測等功能，顯著降低了 AI 平臺的日常運維難度。同時，它還支持 MPI、RDMA 網(wǎng)絡，可滿足企業(yè)對大規(guī)模深度學習任務的性能要求。
不僅如此，OpenPAI 還實現(xiàn)了與 Visual Studio 的集成。Visual Studio Tools for AI 是微軟 Visual Studio 2017 IDE 的擴展，用戶在 Visual Studio 中就可以開發(fā)、調(diào)試和部署深度學習和 AI 解決方案。集成后，用戶在 Visual Studio 中調(diào)試好的模型可便捷地部署到 OpenPAI 集群中。
由上文可見 OpenPAI 具有如下五大優(yōu)勢。
為深度學習量身定做，可擴展支撐更多 AI 和大數(shù)據(jù)框架
通過創(chuàng)新的 PAI 運行環(huán)境支持，幾乎所有深度學習框架如 CNTK，TensorFlow, PyTorch 等無需修改即可運行；其基于 Docker 的架構則讓用戶可以方便地擴展更多 AI 與大數(shù)據(jù)框架。
容器與微服務化，讓 AI 流水線實現(xiàn) DevOps
OpenPAI 100% 基于微服務架構，讓 AI 平臺以及開發(fā)便于實現(xiàn) DevOps 的開發(fā)運維模式。
支持 GPU 多租，可統(tǒng)籌集群資源調(diào)度與服務管理能力
在深度學習負載下，GPU 逐漸成為資源調(diào)度的一等公民，OpenPAI 提供了針對 GPU 優(yōu)化的調(diào)度算法，豐富的端口管理，支持 Virtual Cluster 多租機制，可通過 Launcher Server 為服務作業(yè)的運行保駕護航。
提供豐富的運營、監(jiān)控、調(diào)試功能，降低運維復雜度
OpenPAI 為運營人員提供了硬件、服務、作業(yè)的多級監(jiān)控，同時開發(fā)者還可以通過日志，ssh 等方便調(diào)試作業(yè)。
兼容AI開發(fā)工具生態(tài)
平臺實現(xiàn)了與 Visual Studio Tools for AI 等開發(fā)工具的深度集成，用戶可以一站式進行 AI 開發(fā)。
本次會議微軟亞洲研究院還為大家提供了 OpenPAI 的入門教程。
首先是平臺部署：
編譯支持 GPU 調(diào)度的 Hadoop AI 容器，詳見https://github.com/Microsoft/pai/blob/master/hadoop-ai/README.md
部署 Kubernetes 以及系統(tǒng)服務（如 drivers、zookeeper、REST Server 等）。詳見https://github.com/Microsoft/pai/blob/master/pai-management/README.md
訪問 Web Portal 進行任務提交和集群管理。
然后是提交深度學習 Job 示例
將你的數(shù)據(jù)和代碼上傳至 HDFS：如用 hdfs 命令行將數(shù)據(jù)上傳至hdfs://host:port/path/tensorflow-distributed-jobguid/data
準備 Job 配置文件：詳見https://github.com/Microsoft/pai/tree/master/job-tutorial
瀏覽 Web Portal，點擊"Submit Job"上傳配置文件，即可提交你的 Job。
具體學習和體驗 OpenPAI，請點擊https://github.com/Microsoft/pai
以上就是雷鋒網(wǎng) AI 科技評論對本次 MSRA 承辦的新一代人工智能開放科研教育平臺啟動儀式的全部報道。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
