0
| 本文作者： 付靜 | 2020-05-20 18:21 |
2019 年 7 月，微軟宣布對(duì)總部位于舊金山的人工智能非營(yíng)利組織 OpenAI 投資 10 億美元，將與 OpenAI 長(zhǎng)期合作構(gòu)建新的 Azure AI 超級(jí)計(jì)算技術(shù)，進(jìn)一步擴(kuò)展大規(guī)模 AI 能力，兌現(xiàn)其通用人工智能（AGI）的承諾。
作為交換，OpenAI 同意將其部分知識(shí)產(chǎn)權(quán)授權(quán)給微軟，微軟隨后將把這些知識(shí)產(chǎn)權(quán)商業(yè)化并出售給合作伙伴，并在 OpenAI 開(kāi)發(fā)下一代計(jì)算硬件的過(guò)程中，在 Azure 上訓(xùn)練運(yùn)行 AI 模型。
幾個(gè)月后，二者合作的第一個(gè)成果展示在世人面前。
當(dāng)?shù)貢r(shí)間 2020 年 5 月 19 日，微軟在 Build 2020 開(kāi)發(fā)者大會(huì)上宣布了專(zhuān)為 OpenAI 的 AI 模型而設(shè)計(jì)的超級(jí)計(jì)算機(jī)。
超級(jí)計(jì)算機(jī)性能如何，國(guó)際上有個(gè)知名標(biāo)準(zhǔn)——TOP500。始于 1993 年的 TOP500 榜單，對(duì)全球 500 臺(tái)性能最佳的超級(jí)計(jì)算機(jī)進(jìn)行基準(zhǔn)測(cè)試與細(xì)化。
實(shí)際上，TOP500 每年 6 月和 10 月都會(huì)更新排名。最新的排名顯示，Top 5 分別為 IBM 研發(fā)的 Summit、IBM 研發(fā)的 Sierra、我國(guó)的“神威·太湖之光” 、我國(guó)的“天河二號(hào)”以及 Dell EMC 研發(fā)的 Frontera。
而微軟表示，最新與 OpenAI 和合作研發(fā)的這款超級(jí)計(jì)算機(jī)居于世界 Top 5 之列，這意味著它可在峰值時(shí)每秒執(zhí)行 38.7 到 100.7 萬(wàn)億次浮點(diǎn)運(yùn)算。
雷鋒網(wǎng)了解到，這一超級(jí)計(jì)算機(jī)擁有 285,000 個(gè) CPU 內(nèi)核、10,000 個(gè) GPU 和 400Gbps 的網(wǎng)絡(luò)連接。其目的在于訓(xùn)練大規(guī)模人工智能模型，這些人工智能模型可從出版的書(shū)籍、教學(xué)手冊(cè)、歷史課、人力資源指南和其他公開(kāi)來(lái)源中獲取數(shù)十億頁(yè)的文本。比如：
英偉達(dá)自然語(yǔ)言處理模型，該模型包含 83億參數(shù)或模型內(nèi)部可用于預(yù)測(cè)的可配置變量；
微軟圖靈模型，該模型包含 170 億參數(shù)，是世界上最大的公開(kāi)可用的語(yǔ)言 AI 模型；
Facebook 最近開(kāi)源的 Blender 聊天機(jī)器人框架，包含 94 億參數(shù)；
OpenAI 的 GPT-2 模型，包含 15 億參數(shù)，可在簡(jiǎn)短的提示下生成令人印象深刻的人性化文本。
對(duì)此，OpenAI 首席執(zhí)行官 Sam Altman 評(píng)價(jià)道：
隨著我們?cè)絹?lái)越多地了解到我們需要什么，以及組成超級(jí)計(jì)算機(jī)的所有組件的不同限制，我們發(fā)現(xiàn)，一旦有人能設(shè)計(jì)出夢(mèng)想中的系統(tǒng)，微軟就能將其研發(fā)出來(lái)。我們看到，更大型的系統(tǒng)是訓(xùn)練更強(qiáng)大模型的重要組成部分。
研究表明，這些大型模型之所以表現(xiàn)良好，是因?yàn)樗鼈兡軌蚓珳?zhǔn)識(shí)別語(yǔ)言、語(yǔ)法、知識(shí)、概念和語(yǔ)境的細(xì)微差別，因此可勝任多項(xiàng)任務(wù)：總結(jié)冗長(zhǎng)的演講，在現(xiàn)場(chǎng)游戲聊天中調(diào)節(jié)內(nèi)容，在數(shù)千個(gè)法律文件中查找相關(guān)段落，甚至通過(guò)瀏覽 GitHub 生成代碼。
微軟已經(jīng)開(kāi)始用圖靈模型來(lái)加強(qiáng)對(duì) Bing、Office、Dynamics 和其他生產(chǎn)力產(chǎn)品的語(yǔ)言理解了。微軟圖靈模型在過(guò)去一年里已被整個(gè)微軟公司用來(lái)提高工作效率：
必應(yīng)的字幕生成和問(wèn)答功能顯著提升、一些領(lǐng)域?qū)λ阉鲉?wèn)題的回答最高提高了 125%。
在 Office 中，智能查找功能進(jìn)步，比如：Word 中的搜索功能、提取重要的句子以便快速定位 Word 中關(guān)鍵信息的 Key Insights 功能、Outlook 中可自動(dòng)生成回復(fù)的建議回復(fù)功能；
Dynamics 365 Sales Insights 利用該模型基于與客戶(hù)的交互可向賣(mài)方建議進(jìn)一步操作。
從技術(shù)角度來(lái)看，大型模型優(yōu)于以往的模型，就在于自我監(jiān)督。這是指，它們可以通過(guò)數(shù)據(jù)各部分之間的關(guān)系，從數(shù)據(jù)中生成標(biāo)簽，而這對(duì)于實(shí)現(xiàn)人類(lèi)級(jí)別的人工智能至關(guān)重要。而有監(jiān)督的學(xué)習(xí)算法相反是以人工標(biāo)記的數(shù)據(jù)集為基礎(chǔ)進(jìn)行訓(xùn)練，可能難以對(duì)特定行業(yè)、公司或主題的任務(wù)微調(diào)。
正如微軟首席技術(shù)官 Kevin Scott 所說(shuō)：
這些模型令人興奮的地方在于，它們所能實(shí)現(xiàn)的功能非常廣泛，其潛在優(yōu)勢(shì)遠(yuǎn)遠(yuǎn)超出了一種人工智能模型的微小進(jìn)步。這就像在自然語(yǔ)言處理和計(jì)算機(jī)視覺(jué)領(lǐng)域同時(shí)做了上百件令人興奮的事情。這些感知領(lǐng)域的組合會(huì)產(chǎn)生新的應(yīng)用，甚至是現(xiàn)在很難想象的一些應(yīng)用。
一直以來(lái)，OpenAI 都表示強(qiáng)大計(jì)算能力是邁向 AGI 的必經(jīng)之路，也是 AI 能夠?qū)W習(xí)人類(lèi)所能完成的任何任務(wù)的必經(jīng)之路。不過(guò)，這臺(tái)超級(jí)計(jì)算機(jī)是否強(qiáng)大到足以實(shí)現(xiàn)任何接近 AGI 的功能，我們尚不清楚。
2018 年，OpenAI 發(fā)布的一項(xiàng)分析顯示，從 2012 年到 2018 年，用于最大人工智能培訓(xùn)的電腦數(shù)量增長(zhǎng)了逾 30 萬(wàn)倍，其中有 3 個(gè)半月翻了一番，遠(yuǎn)遠(yuǎn)超過(guò)摩爾定律的速度。
2019 年，Greg Brockman 曾在接受外媒 Financial Times 的采訪(fǎng)時(shí)表示，2025 年前后，OpenAI 將把微軟 10 億美元的全部投資用于構(gòu)建一個(gè)能夠運(yùn)行“人腦大小的 AI 模型”的系統(tǒng)。
雖然包括兩位人工智能先驅(qū) Yoshua Bengio 和 Yann LeCun 在內(nèi)的行業(yè)知名人士認(rèn)為 AGI 不可能存在，但 OpenAI 的聯(lián)合創(chuàng)始人和支持者們——Greg Brockman、首席科學(xué)家 Ilya Sutskever、Elon Musk、Reid Hoffman 和前 Y Combinator 總裁 Sam Altman——認(rèn)為，強(qiáng)大的計(jì)算機(jī)結(jié)合強(qiáng)化學(xué)習(xí)和其他技術(shù)，可以改變 AI 發(fā)展模式。
可以說(shuō)，這臺(tái)超級(jí)計(jì)算機(jī)的發(fā)布代表了 OpenAI 在這一愿景上迄今為止最大的賭注。
圖靈模型與 AGI 相去甚遠(yuǎn)，但微軟表示將通過(guò)超級(jí)計(jì)算機(jī)探索大型模型，這些模型可以在文本、圖像和視頻數(shù)據(jù)中以一般化的方式學(xué)習(xí)。
實(shí)際上 OpenAI 也是如此。
此前外媒曾報(bào)道，OpenAI 的 Foresight 團(tuán)隊(duì)進(jìn)行了一項(xiàng)實(shí)驗(yàn)，旨在測(cè)試他們通過(guò)訓(xùn)練具有越來(lái)越大量數(shù)據(jù)和計(jì)算的算法能在多大程度上推進(jìn) AI 能力。
另外，OpenAI 正在開(kāi)發(fā)一個(gè)以圖像、文本等數(shù)據(jù)為基礎(chǔ)的系統(tǒng)，該系統(tǒng)使用了大量計(jì)算資源，被公司領(lǐng)導(dǎo)層認(rèn)為是極有希望實(shí)現(xiàn) AGI 的。
事實(shí)上，Greg Brockman 和 Sam Altman 尤其相信 AGI 將比任何人類(lèi)都掌握更多的領(lǐng)域，主要是能識(shí)別人類(lèi)無(wú)法發(fā)現(xiàn)的復(fù)雜的跨學(xué)科聯(lián)系。
同時(shí)，他們預(yù)測(cè)，AGI 與社會(huì)科學(xué)等相關(guān)領(lǐng)域的研究人員密切合作，可能有助于解決氣候變化、醫(yī)療和教育方面的長(zhǎng)期挑戰(zhàn)。
與此同時(shí)，其他玩家發(fā)展勢(shì)頭不減。
前不久，IBM 詳細(xì)介紹了一款“神經(jīng)計(jì)算機(jī)”（Neural Computer），IBM 利用數(shù)百種定制設(shè)計(jì)的芯片，訓(xùn)練時(shí)間達(dá)到了每秒 120 萬(wàn)幀，創(chuàng)下了最新記錄。
北京時(shí)間 2020 年 5 月 14 日，英偉達(dá)也發(fā)布了第八代安培 GPU A100，AI 算力提升 20 倍，號(hào)稱(chēng)史上最大的性能飛躍。
證據(jù)表明，效率的提高可能會(huì)抵消不斷增長(zhǎng)的計(jì)算需求。另一項(xiàng)最新的 OpenAI 調(diào)查發(fā)現(xiàn)，自 2012 年以來(lái)，將 AI 模型訓(xùn)練成與流行基準(zhǔn)（ImageNet）中的圖像分類(lèi)性能相同所需的計(jì)算量每 16 個(gè)月減少兩倍。 但是與新的算法方法相比，計(jì)算對(duì)性能的貢獻(xiàn)程度仍然是一個(gè)懸而未決的問(wèn)題。
此外，值得一提的是，OpenAI 在游戲和媒體合成方面已經(jīng)利用較少的資源取得了顯著的 AI 收益：
在谷歌云平臺(tái)上，為了自我提升，OpenAI Five 每天要在 256 張 Nvidia Tesla P100 顯卡和 128000 個(gè)處理器內(nèi)核上玩 180 年的游戲，以擊敗 Dota 2 的職業(yè)玩家（以及公開(kāi)比賽中 99.4% 的玩家）。
OpenAI 在至少 64 個(gè)英偉達(dá) V100 顯卡和 920 個(gè)機(jī)器上訓(xùn)練了一個(gè)系統(tǒng)，每個(gè)機(jī)器有 32 個(gè) CPU 內(nèi)核，以便用機(jī)械手操縱魔方。
OpenAI 的點(diǎn)唱機(jī)模型在 896 個(gè) V100 顯卡上運(yùn)行模擬，學(xué)習(xí)從零開(kāi)始生成任何風(fēng)格的音樂(lè)（包括歌詞）。
從另一個(gè)角度看，無(wú)論最新的超級(jí)計(jì)算機(jī)只是一個(gè)小小的墊腳石，還是向 AGI 的目標(biāo)邁出了一大步，實(shí)際上都有可能為微軟帶來(lái)新的市場(chǎng)機(jī)遇。
雷鋒網(wǎng)了解到，通過(guò) AI at Scale 計(jì)劃，微軟正在提供資源，以?xún)?yōu)化的方式在 Azure AI 加速器和網(wǎng)絡(luò)上訓(xùn)練大型模型。它將訓(xùn)練數(shù)據(jù)拆分成多個(gè)批次，用于跨集群訓(xùn)練模型的多個(gè)實(shí)例，并定期進(jìn)行平均以產(chǎn)生單個(gè)模型。
此外，在 Build 開(kāi)發(fā)者大會(huì)上，微軟還發(fā)布了一個(gè)新版本 DeepSpeed，即一個(gè) PyTorch 開(kāi)源深度學(xué)習(xí)庫(kù)，它減少了大型分布式模型訓(xùn)練所需的計(jì)算能力，可在相同的架構(gòu)上訓(xùn)練超過(guò)大 15 倍以上、快 10 倍以上的模型，還支持 ONNX Runtime 分布式培訓(xùn)。
微軟表示，當(dāng)與 DeepSpeed 一起使用時(shí)，ONNX 上的分布式培訓(xùn)使跨硬件和操作系統(tǒng)的模型能夠?qū)崿F(xiàn)高達(dá) 17 倍的性能改進(jìn)。
正如微軟首席技術(shù)官 Kevin Scott 表示：
通過(guò)開(kāi)發(fā)這種用于訓(xùn)練大型人工智能模型的前沿架構(gòu)，我們正在讓 Azure 變得更好。我們正在建設(shè)更好的計(jì)算機(jī)、更好的分布式系統(tǒng)、更好的網(wǎng)絡(luò)、更好的數(shù)據(jù)中心。這些都會(huì)推動(dòng)整個(gè) Azure 的性能、成本和靈活性變得更好。
引用來(lái)源：
[1]https://venturebeat.com/2020/05/19/openai-microsoft-azure-supercomputer-ai-model-training/
雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
