雷鋒網 AI 科技評論按：2019 年已經過去半個月啦，大家的年末總結和新年計劃做好了嗎？最近，F(xiàn)acebook 做了一份 AI 年度總結，詳述了他們過去一年在 AI 上所做的代表性工作（看到眼花）。Emmm，要是哪位同學的年度總結像 Facebook 一樣豐富多彩，相信一定發(fā) paper、拿 offer 到手軟。

內容如下，一起來看看吧~

在 Facebook，我們認為，人工智能以更有效的新方式學習，就像人類一樣，可以在將人們聚集在一起發(fā)揮重要作用。這一核心信念有助于推動我們的 AI 戰(zhàn)略，將投資重點放在與使用真實數(shù)據(jù)學習的系統(tǒng)相關的長期研究上，激勵工程師與更廣泛的人工智能社區(qū)共享尖端工具和平臺，并最終展示使用技術造福世界的新方法。

2018 年，我們在各個領域都取得了重要進展。我們提出了新的研究，除了圖像識別上的進展，在NLP領域，我們現(xiàn)在可以用較少的監(jiān)督數(shù)據(jù)翻譯更多的語言。我們發(fā)布了許多平臺和工具來幫助其他人將他們的人工智能研究轉化為生產應用程序，包括我們將目前流行的開源深度學習框架 PyTorch 升級成新的、更通用的 1.0 版本。除了發(fā)表廣泛的公共研究論文和相關模型以及數(shù)據(jù)集外，我們還發(fā)現(xiàn)人工智能有潛力通過 MRI 掃描、災難援助和預防自殺的工具來改善人們的生活。以下是我們過去一年在人工智能領域所做努力的亮點內容。

通過半監(jiān)督和無監(jiān)督訓練促進人工智能學習

Facebook 人工智能研究（FAIR）小組的創(chuàng)建目標之一是致力于開發(fā)具有人類智能的系統(tǒng)。實現(xiàn)這一里程碑還需要多年的研究，但我們相信，我們在2018年所做的努力有助于展示出一條通向通用人工智能的道路。雖然目前大多數(shù) AI 系統(tǒng)使用監(jiān)督學習來理解特定的任務，但對大量標記樣本的需求限制了他們可以學習的任務數(shù)量，并限制了技術的長期潛力。這就是為什么我們正在探索多種方法來減少訓練中所需的監(jiān)督，包括展示從半監(jiān)督甚至非監(jiān)督數(shù)據(jù)中學習從而受益的項目。

例如，為了增加系統(tǒng)可能翻譯或理解的語言數(shù)量，我們演示了一種新的方法，在無監(jiān)督數(shù)據(jù)上訓練自動翻譯 NMT 模型，其性能與在監(jiān)督數(shù)據(jù)上訓練的系統(tǒng)相當。我們的系統(tǒng)的準確性比以前的無監(jiān)督方法有了很大的提高。通過減少該領域對標記訓練數(shù)據(jù)的大型語料庫的依賴，它打開了翻譯更多語言的大門，包括資源比較少的語言（如烏爾都語），和英語相比，它們的數(shù)據(jù)集是非常有限的。

多種語言中的二維單詞嵌入可以通過簡單的旋轉進行對齊

另一個項目完全使用資源比較少的語言，使用多種方法來規(guī)避標記訓練數(shù)據(jù)的相對稀缺性。這項工作包括使用多語言建模來利用給定語言組（如白俄羅斯語和烏克蘭語）中方言之間的相似性。這是一項應用研究，該團隊采用的一系列技術在今年為我們的自動翻譯服務增加了 24 種語言。此外，在與紐約大學的合作中，我們在現(xiàn)有的 MultiNLI 數(shù)據(jù)集中添加了 14 種語言，這些語言被廣泛用于自然語言理解（NLU）研究，而在此之前，我們只研究了英語。我們更新的 XNLI 數(shù)據(jù)集（https://code.fb.com/ai-research/xlni/）中的語言包括兩種資源很少語言（斯瓦希里語和烏爾都語），我們的方法有助于跨語言理解，從而減少了對監(jiān)督訓練數(shù)據(jù)的需求。

我們還展示了數(shù)據(jù)監(jiān)督的變化，例如通過數(shù)據(jù)精餾（data distillation）將有監(jiān)督和無監(jiān)督的數(shù)據(jù)結合起來，這一過程稱為全方位監(jiān)督學習（omni-supervised learning）。在基于哈希標簽的圖像識別的研究中，我們創(chuàng)造性地利用現(xiàn)有的非傳統(tǒng)標簽來生成大量訓練數(shù)據(jù)集，這些數(shù)據(jù)集里面基本上是自標記數(shù)據(jù)，包括一組 35 億張的 Instagram 公共圖像。該項目建議用戶提供的哈希標簽可以充當數(shù)據(jù)標簽，將現(xiàn)有的圖像轉換為弱監(jiān)督訓練示例。我們的結果不僅證明了使用數(shù)十億個數(shù)據(jù)點對基于圖像的任務是非常有效的，而且還使我們打破了一個重要的記錄，也就是比以前最先進的圖像識別模型在 ImageNet 上的準確度得分高出 1%。

哈希標簽可以幫助計算機視覺系統(tǒng)識別圖像中的特定的子類別和附加元素

加速 AI 研究向生產的轉變

AI 已經成為 Facebook 幾乎所有產品和服務的基礎，應用程序的多樣性反映在我們的工程師正在構建和增強的各種基于 AI 的平臺和工具中。2018 年我們平臺工作的共同主題是：將我們正在研究的 AI 技術轉化為可以部署的 AI 系統(tǒng)。

自 2017 年我們發(fā)布 PyTorch 以來，深度學習框架已被 AI 社區(qū)廣泛采用，目前，它是 GitHub 上增長速度第二快的開源項目。PyTorch 的用戶友好界面和靈活的編程環(huán)境使其成為人工智能發(fā)展中快速迭代的通用資源。它的開放設計確保了框架將繼續(xù)增長和改進。2018 年，我們希望給 PyTorch 社區(qū)提供一套更統(tǒng)一的工具，重點是將他們的人工智能實驗轉化為生產就緒的應用程序。

我們在 2018 年 5 月的第 8 次會議上宣布了框架的更新，詳細說明了它如何集成 Caffe2（https://caffe2.ai/） 的模塊化、面向生產的功能以及新擴展的 ONNX，以簡化從原型系統(tǒng)到部署的整個 AI 開發(fā)流程。10 月，我們在第一次 PyTorch 開發(fā)者大會上發(fā)布了 PyTorch 1.0 開發(fā)者預覽版，在會議上我們還展示了框架快速增長的合作伙伴和平臺生態(tài)系統(tǒng)。Google、Microsoft、NVIDIA、Tesla 和許多其他技術提供商在那次活動中討論了他們的現(xiàn)狀和與 PyTorch 1.0 的集成計劃，fast.ai 和 Udacity 都創(chuàng)建了使用新版本來教授深度學習的課程。

我們在今年 1 月初推出 PyTorch 1.0 完整版，這一版本包括我們一直在做的所有新特性，如能在 eager 和 graph 執(zhí)行模式間無縫過渡的混合前端，改進的分布式訓練，用于高性能研究的純 C++前端。2018 年我們還發(fā)布了擴展 PyTorch 核心功能的工具和平臺，包括兩個內核庫 (QNNPACK 和 FBGEMM)，它們能使移動設備和服務器更容易運行最新的 AI 模型，我們還發(fā)布了 PyText，這個框架能加速自然語言處理 (NLP) 開發(fā)。

PyTorch 還為 Horizon（https://code.fb.com/ml-applications/horizon/）提供了基礎，Horizon 是第一個使用應用強化學習在大規(guī)模生產環(huán)境中優(yōu)化系統(tǒng)的開源端到端平臺。Horizon 采用了 RL 大量研究但很少部署的基于決策的方法，并對其進行了調整，使之用于可能包含數(shù)十億條記錄的數(shù)據(jù)集的應用程序。

在 Facebook 內部部署該平臺后，在優(yōu)化流媒體質量和改進 Messenger 中 M suggestions 等用例中，我們開源了 Horizon，使得任何人都可以抵達連接 RL 研究和生產的橋梁。

顯示 Horizon 反饋循環(huán)的高級圖。首先，對現(xiàn)有系統(tǒng)記錄的一些數(shù)據(jù)進行預處理，然后，訓練模型并分析離線環(huán)境下的反事實的策略結果，最后，將模型部署到一組人員中，并度量真正的策略。來自新模型的數(shù)據(jù)會反饋到下一個迭代，大多數(shù)團隊每天都會部署一個新模型。

我們還發(fā)布了 Glow，這是一個社區(qū)驅動型開源框架，支持機器學習硬件加速。Glow 支持一系列不同的編譯器、硬件平臺和深度學習框架，包括 PyTorch，現(xiàn)在支持它的生態(tài)合作伙伴包括 Cadence、Esperanto、英特爾、Marvell 和高通。為了進一步鼓勵業(yè)界使用機器學習，我們發(fā)布了一個新的機器學習優(yōu)化服務器設計 Big Basin v2，這也是 Open Compute Project（開放計算項目）的一部分。我們已經將新的、模塊化的硬件添加到了數(shù)據(jù)中心機群，大家可以在 OCP Marketplace（https://www.opencompute.org/contributions）上下載不同版本的 Big Basin v2。

2018 年是 Oculus 研究向 Facebook Reality 實驗室過渡，以及對 AI 和 AR/VR 研究重疊領域進行新探索的一年。我們不斷努力，想要開源盡可能多的人工智能相關工具，作為這些工具的一部分，我們已經發(fā)布了 DeepFocus 項目的數(shù)據(jù)和模型，該項目利用深度學習算法在 VR 中渲染逼真的視網膜模糊。DeepFocus 是一種將深度學習用于 AR /VR 的全新應用，它使用一個完全新型的網絡結構來適配于 Half Dome 頭顯，以及其他頭顯裝置。

在未來的一年，我們希望得到更多關于所有這些開源工具的反饋。我們將繼續(xù)開發(fā)和開源一系列工具，進一步支撐 PyTorch 1.0，幫助整個開發(fā)社區(qū)，讓前沿人工智能系統(tǒng)走出實驗室，走出研究型論文，投入生產。

構建造福所有人的 AI 系統(tǒng)

我們研究廣泛傳播 AI 福祉的技術已有悠久的歷史，比如創(chuàng)建能生成照片音頻描述的系統(tǒng)，造福于視障人士。在過去一年，我們繼續(xù)開發(fā)基于 AI 的功能來造福世界，包括使用文本分類技術來識別表達自殺想法言論的帖子，擴展現(xiàn)有的自殺預防工具。這一系統(tǒng)使用單獨的文本分類器來分析文章和評論中的文本，如果合適，它將把這些內容發(fā)送給 Community Operations 團隊審核。這個系統(tǒng)利用我們已經建立的文本理解模型和跨語言功能，通過支持服務，來增加可以連接到人員數(shù)量。

我們還發(fā)布了一種使用人工智能快速準確地幫助確定受災最嚴重地區(qū)的方法（https://code.fb.com/ai-research/satellite-imagery/），無需等待人工標注數(shù)據(jù)。這種方法是與 CrowdAI 合作開發(fā)的，有可能以更快的速度和效率向受害者提供救援。在未來，這項技術還可以用來幫助量化大規(guī)模災害的損失，如森林火災、洪水和地震。

我們部署了一個名為 Rosetta 的 ML 系統(tǒng)，它每天從超過 10 億個公共圖像和視頻幀中提取文本，并使用文本識別模型來理解文本和圖像的上下文。Rosetta 支持多種語言，能幫助我們理解表情包和視頻的內容，包括自動識別違反策略的內容。

Rosetta 文本提取兩步模型架構

2018 年我們也開始了 fastMRI 項目，這是我們與紐約大學醫(yī)學院 (NYU School of Medicine) 開展的一項長期合作，旨在改善影像診斷技術，起初我們將 MRI 的掃描速度提高了 10 倍。目前的掃描需要一個小時或更長時間，對于一些患者或者在某些情況下，這肯定不行，該聯(lián)合研究項目的目的是通過使用深度學習，從較少的原始掃描數(shù)據(jù)中生成圖像，增加這種潛在的救生診斷工具的可用性。

fastMRI 的目的不是開發(fā)專有技術，而是加速領域內對這種技術的理解，紐約大學醫(yī)學院已經做了迄今最大的充分采樣的原始 MRI 數(shù)據(jù)集（數(shù)據(jù)集完全匿名）用于研究，也有開源模型來幫助更廣泛的研究社區(qū)開始這項任務。我們還推出了一個在線排行榜（http://fastmri.org/leaderboards），大家可以發(fā)布自己的結果進行比較。

左圖：轉換成圖像之前的原始 MRI 數(shù)據(jù)。為了獲取診斷研究所需的全部原始數(shù)據(jù)，MRI 掃描會非常耗時。右圖：從充分采樣的原始數(shù)據(jù)中獲得的膝關節(jié)重建 MRI 影像圖。

2018 年，我們還發(fā)表博客詳細介紹了我們在其他領域的工作，包括使用人工智能來改進系統(tǒng)（Getafix、 predictive test selection、SapFix、Sapienz 和 Spiral）、提升產品（SLAM 和 Marketplace 中的 AI），以及其他研究工作（wav2letter++，多詞匯表征、多語言嵌入和音頻處理）。

我們對 2018 年在關鍵層面（開展基礎研究、部署前沿應用、分享使用人工智能幫助他人的新方法）取得的進展感到興奮，期待在未來一年繼續(xù)努力。

這篇文章回顧了 Facebook 2018 年在工程上的工作和一些新技術，此外，還有另外兩篇年度總結如下。

數(shù)據(jù)中心年度總結：

https://code.fb.com/data-center-engineering/data-centers-2018/

開源情況年度總結：

https://code.fb.com/open-source/open-source-2018/

via：https://code.fb.com/ai-research/ai-2018/

雷鋒網 AI 科技評論編譯整理。雷鋒網

雷峰網版權文章，未經授權禁止轉載。詳情見轉載須知。