0
2019 年 7 月，微軟宣布對總部位于舊金山的人工智能非營利組織 OpenAI 投資 10 億美元，將與 OpenAI 長期合作構建新的 Azure AI 超級計算技術，進一步擴展大規(guī)模 AI 能力，兌現其通用人工智能（AGI）的承諾。
作為交換，OpenAI 同意將其部分知識產權授權給微軟，微軟隨后將把這些知識產權商業(yè)化并出售給合作伙伴，并在 OpenAI 開發(fā)下一代計算硬件的過程中，在 Azure 上訓練運行 AI 模型。
幾個月后，二者合作的第一個成果展示在世人面前。
當地時間 2020 年 5 月 19 日，微軟在 Build 2020 開發(fā)者大會上宣布了專為 OpenAI 的 AI 模型而設計的超級計算機。
超級計算機性能如何，國際上有個知名標準——TOP500。始于 1993 年的 TOP500 榜單，對全球 500 臺性能最佳的超級計算機進行基準測試與細化。
實際上，TOP500 每年 6 月和 10 月都會更新排名。最新的排名顯示，Top 5 分別為 IBM 研發(fā)的 Summit、IBM 研發(fā)的 Sierra、我國的“神威·太湖之光” 、我國的“天河二號”以及 Dell EMC 研發(fā)的 Frontera。
而微軟表示，最新與 OpenAI 和合作研發(fā)的這款超級計算機居于世界 Top 5 之列，這意味著它可在峰值時每秒執(zhí)行 38.7 到 100.7 萬億次浮點運算。
雷鋒網了解到，這一超級計算機擁有 285,000 個 CPU 內核、10,000 個 GPU 和 400Gbps 的網絡連接。其目的在于訓練大規(guī)模人工智能模型，這些人工智能模型可從出版的書籍、教學手冊、歷史課、人力資源指南和其他公開來源中獲取數十億頁的文本。比如：
英偉達自然語言處理模型，該模型包含 83億參數或模型內部可用于預測的可配置變量；
微軟圖靈模型，該模型包含 170 億參數，是世界上最大的公開可用的語言 AI 模型；
Facebook 最近開源的 Blender 聊天機器人框架，包含 94 億參數；
OpenAI 的 GPT-2 模型，包含 15 億參數，可在簡短的提示下生成令人印象深刻的人性化文本。
對此，OpenAI 首席執(zhí)行官 Sam Altman 評價道：
隨著我們越來越多地了解到我們需要什么，以及組成超級計算機的所有組件的不同限制，我們發(fā)現，一旦有人能設計出夢想中的系統，微軟就能將其研發(fā)出來。我們看到，更大型的系統是訓練更強大模型的重要組成部分。
研究表明，這些大型模型之所以表現良好，是因為它們能夠精準識別語言、語法、知識、概念和語境的細微差別，因此可勝任多項任務：總結冗長的演講，在現場游戲聊天中調節(jié)內容，在數千個法律文件中查找相關段落，甚至通過瀏覽 GitHub 生成代碼。
微軟已經開始用圖靈模型來加強對 Bing、Office、Dynamics 和其他生產力產品的語言理解了。微軟圖靈模型在過去一年里已被整個微軟公司用來提高工作效率：
必應的字幕生成和問答功能顯著提升、一些領域對搜索問題的回答最高提高了 125%。
在 Office 中，智能查找功能進步，比如：Word 中的搜索功能、提取重要的句子以便快速定位 Word 中關鍵信息的 Key Insights 功能、Outlook 中可自動生成回復的建議回復功能；
Dynamics 365 Sales Insights 利用該模型基于與客戶的交互可向賣方建議進一步操作。
從技術角度來看，大型模型優(yōu)于以往的模型，就在于自我監(jiān)督。這是指，它們可以通過數據各部分之間的關系，從數據中生成標簽，而這對于實現人類級別的人工智能至關重要。而有監(jiān)督的學習算法相反是以人工標記的數據集為基礎進行訓練，可能難以對特定行業(yè)、公司或主題的任務微調。
正如微軟首席技術官 Kevin Scott 所說：
這些模型令人興奮的地方在于，它們所能實現的功能非常廣泛，其潛在優(yōu)勢遠遠超出了一種人工智能模型的微小進步。這就像在自然語言處理和計算機視覺領域同時做了上百件令人興奮的事情。這些感知領域的組合會產生新的應用，甚至是現在很難想象的一些應用。
一直以來，OpenAI 都表示強大計算能力是邁向 AGI 的必經之路，也是 AI 能夠學習人類所能完成的任何任務的必經之路。不過，這臺超級計算機是否強大到足以實現任何接近 AGI 的功能，我們尚不清楚。
2018 年，OpenAI 發(fā)布的一項分析顯示，從 2012 年到 2018 年，用于最大人工智能培訓的電腦數量增長了逾 30 萬倍，其中有 3 個半月翻了一番，遠遠超過摩爾定律的速度。
2019 年，Greg Brockman 曾在接受外媒 Financial Times 的采訪時表示，2025 年前后，OpenAI 將把微軟 10 億美元的全部投資用于構建一個能夠運行“人腦大小的 AI 模型”的系統。
雖然包括兩位人工智能先驅 Yoshua Bengio 和 Yann LeCun 在內的行業(yè)知名人士認為 AGI 不可能存在，但 OpenAI 的聯合創(chuàng)始人和支持者們——Greg Brockman、首席科學家 Ilya Sutskever、Elon Musk、Reid Hoffman 和前 Y Combinator 總裁 Sam Altman——認為，強大的計算機結合強化學習和其他技術，可以改變 AI 發(fā)展模式。
可以說，這臺超級計算機的發(fā)布代表了 OpenAI 在這一愿景上迄今為止最大的賭注。
圖靈模型與 AGI 相去甚遠，但微軟表示將通過超級計算機探索大型模型，這些模型可以在文本、圖像和視頻數據中以一般化的方式學習。
實際上 OpenAI 也是如此。
此前外媒曾報道，OpenAI 的 Foresight 團隊進行了一項實驗，旨在測試他們通過訓練具有越來越大量數據和計算的算法能在多大程度上推進 AI 能力。
另外，OpenAI 正在開發(fā)一個以圖像、文本等數據為基礎的系統，該系統使用了大量計算資源，被公司領導層認為是極有希望實現 AGI 的。
事實上，Greg Brockman 和 Sam Altman 尤其相信 AGI 將比任何人類都掌握更多的領域，主要是能識別人類無法發(fā)現的復雜的跨學科聯系。
同時，他們預測，AGI 與社會科學等相關領域的研究人員密切合作，可能有助于解決氣候變化、醫(yī)療和教育方面的長期挑戰(zhàn)。
與此同時，其他玩家發(fā)展勢頭不減。
前不久，IBM 詳細介紹了一款“神經計算機”（Neural Computer），IBM 利用數百種定制設計的芯片，訓練時間達到了每秒 120 萬幀，創(chuàng)下了最新記錄。
北京時間 2020 年 5 月 14 日，英偉達也發(fā)布了第八代安培 GPU A100，AI 算力提升 20 倍，號稱史上最大的性能飛躍。
證據表明，效率的提高可能會抵消不斷增長的計算需求。另一項最新的 OpenAI 調查發(fā)現，自 2012 年以來，將 AI 模型訓練成與流行基準（ImageNet）中的圖像分類性能相同所需的計算量每 16 個月減少兩倍。 但是與新的算法方法相比，計算對性能的貢獻程度仍然是一個懸而未決的問題。
此外，值得一提的是，OpenAI 在游戲和媒體合成方面已經利用較少的資源取得了顯著的 AI 收益：
在谷歌云平臺上，為了自我提升，OpenAI Five 每天要在 256 張 Nvidia Tesla P100 顯卡和 128000 個處理器內核上玩 180 年的游戲，以擊敗 Dota 2 的職業(yè)玩家（以及公開比賽中 99.4% 的玩家）。
OpenAI 在至少 64 個英偉達 V100 顯卡和 920 個機器上訓練了一個系統，每個機器有 32 個 CPU 內核，以便用機械手操縱魔方。
OpenAI 的點唱機模型在 896 個 V100 顯卡上運行模擬，學習從零開始生成任何風格的音樂（包括歌詞）。
從另一個角度看，無論最新的超級計算機只是一個小小的墊腳石，還是向 AGI 的目標邁出了一大步，實際上都有可能為微軟帶來新的市場機遇。
雷鋒網了解到，通過 AI at Scale 計劃，微軟正在提供資源，以優(yōu)化的方式在 Azure AI 加速器和網絡上訓練大型模型。它將訓練數據拆分成多個批次，用于跨集群訓練模型的多個實例，并定期進行平均以產生單個模型。
此外，在 Build 開發(fā)者大會上，微軟還發(fā)布了一個新版本 DeepSpeed，即一個 PyTorch 開源深度學習庫，它減少了大型分布式模型訓練所需的計算能力，可在相同的架構上訓練超過大 15 倍以上、快 10 倍以上的模型，還支持 ONNX Runtime 分布式培訓。
微軟表示，當與 DeepSpeed 一起使用時，ONNX 上的分布式培訓使跨硬件和操作系統的模型能夠實現高達 17 倍的性能改進。
正如微軟首席技術官 Kevin Scott 表示：
通過開發(fā)這種用于訓練大型人工智能模型的前沿架構，我們正在讓 Azure 變得更好。我們正在建設更好的計算機、更好的分布式系統、更好的網絡、更好的數據中心。這些都會推動整個 Azure 的性能、成本和靈活性變得更好。
引用來源：
[1]https://venturebeat.com/2020/05/19/openai-microsoft-azure-supercomputer-ai-model-training/
雷鋒網
雷峰網原創(chuàng)文章，未經授權禁止轉載。詳情見轉載須知。
