2022 劍橋 AI 全景報(bào)告出爐：擴(kuò)散模型是風(fēng)口，中國(guó)論文數(shù)量為美國(guó)的 4.5 倍

本文作者：我在思考中

2022-10-31 10:01

導(dǎo)語(yǔ)：五大維度，解讀 AI 發(fā)展現(xiàn)狀和未來(lái)預(yù)期。

作者 | 黃楠、施方圓

編輯 | 陳彩嫻

近日，劍橋大學(xué)的2022年 AI 全景報(bào)告（《State of AI Report 》）出爐！

報(bào)告匯總和聚焦了過(guò)去一年里 AI 行業(yè)中炙手可熱的事件，援引數(shù)據(jù)來(lái)自知名科技公司和研究小組，由投資者 Nathan Benaich 和 Ian Hogarth 編寫，從研究、產(chǎn)業(yè)、政策、安全、預(yù)測(cè)五個(gè)維度出發(fā)，對(duì)最新的 AI 發(fā)展現(xiàn)狀和未來(lái)預(yù)期進(jìn)行深度分析。

以下是報(bào)告重點(diǎn)介紹：

擴(kuò)散模型火熱、模型開源提速

從研究領(lǐng)域來(lái)看，今年 AI 發(fā)展呈現(xiàn)五大趨勢(shì)：

基于文本到圖像的生成能力，擴(kuò)散模型（Diffusion Models）席卷計(jì)算機(jī)視覺(jué)世界

擴(kuò)散模型是深度生成模型中新的 SOTA，在一些基準(zhǔn)測(cè)試中，其圖像生成能力超越了 GAN，是當(dāng)前文本生成圖像最火熱的模型，并逐漸擴(kuò)大到文本生成、文本轉(zhuǎn)音頻、文本轉(zhuǎn)視頻以及分子設(shè)計(jì)等領(lǐng)域。

今年4月，OpenAI 發(fā)布 DALL-E 2，只需要給到寥寥幾句文本指示就可以生成全新的圖像，剛亮相就在圖像生成和圖像處理領(lǐng)域引發(fā)極大的關(guān)注度。不久，谷歌也緊接著推出的 Imagen，基于大型 Transformer 語(yǔ)言模型在理解文本方面的能力和擴(kuò)散模型在高保真圖像生成方面的能力，將文本生成圖像的逼真度和語(yǔ)言理解提到了新高度。

而真正將生成式 AI 推向創(chuàng)作高潮的，是 Stability.Ai 在8月份公開發(fā)布的 Stable Diffusion 模型，只需輸入幾行文字描述，幾秒鐘后，AI 便能生成一幅幻彩斑斕的畫作。

可以看到，目前 Stability.ai 和 Midjourney 等公司所創(chuàng)建的文本轉(zhuǎn)圖像模型，已經(jīng)可以跟發(fā)展成熟的 AI 實(shí)驗(yàn)室的產(chǎn)品相媲美，其中，Midjourney 采用了訂閱制的收費(fèi)模式已經(jīng)盈利，Stability 的模型則是開源的。

2022 劍橋 AI 全景報(bào)告出爐：擴(kuò)散模型是風(fēng)口，中國(guó)論文數(shù)量為美國(guó)的 4.5 倍

圖注：Stable Diffusion 生成圖像

此外，基于擴(kuò)散的文本到視頻生成的研究也從今年4月左右就展開了。

9月下旬，Meta 發(fā)布“Make-a-Video”，宣布了從文本到視頻生成的 DELL-E 時(shí)刻早于預(yù)期，文本轉(zhuǎn)視頻的擴(kuò)散模型首次在業(yè)界引起轟動(dòng)。不到一周后，谷歌也發(fā)布了兩個(gè)模型：基于擴(kuò)散模型的 Imagen 和非擴(kuò)散模型的 Phenaki，后者能夠通過(guò)附加提示動(dòng)態(tài)來(lái)調(diào)整視頻生成。

AI for science，聚焦塑料回收、核聚變反應(yīng)堆控制和天然產(chǎn)物發(fā)現(xiàn)等更多科學(xué)問(wèn)題

在 AI for science 研究中，今年有不少突出的工作。

其中，DeepMind 與悉尼大學(xué)、牛津大學(xué)合作，將 AI 模型應(yīng)用到數(shù)學(xué)領(lǐng)域的拓?fù)浜捅硎菊摬孪?，提出了一種新的算法，通過(guò)研究紐結(jié)的結(jié)構(gòu)，發(fā)現(xiàn)數(shù)學(xué)在不同領(lǐng)域中的隱藏聯(lián)系，該研究發(fā)表在《自然》雜志上。

2022 劍橋 AI 全景報(bào)告出爐：擴(kuò)散模型是風(fēng)口，中國(guó)論文數(shù)量為美國(guó)的 4.5 倍

圖注：紐結(jié)結(jié)構(gòu)

一年前，DeepMind 發(fā)布 AlphaFold2，以原子水平的準(zhǔn)確度預(yù)測(cè)了三分之二的蛋白質(zhì)結(jié)構(gòu)，并與 EMBL-EBI 共同發(fā)布蛋白質(zhì)結(jié)構(gòu)數(shù)據(jù)庫(kù) AlphaFold DB。

到了今年7月28日，DeepMind 宣布 AlphaFold DB 已從 100 萬(wàn)個(gè)結(jié)構(gòu)擴(kuò)展到超過(guò) 2 億個(gè)結(jié)構(gòu)，擴(kuò)大超過(guò) 200 倍，可用于植物、細(xì)菌、動(dòng)物和其他生物的蛋白質(zhì)預(yù)測(cè)結(jié)構(gòu)，極大地提升了人們對(duì)于生物學(xué)的理解。

在塑料回收方面，來(lái)自 UT Austin 的研究人員設(shè)計(jì)了一種能夠降解 PET 的酶（PET 是一種占全球固體廢物12%的塑料），稱為 PET 水解酶（ FAST?PETase），能夠在一周內(nèi)幾乎完全降解51種不同產(chǎn)品，并且還可以從回收的單體中重新合成 PET FAST?PETase。

標(biāo)度法則重新聚焦數(shù)據(jù)：模型標(biāo)度并不是全部都需要的，朝單一模型發(fā)展，其核心在于數(shù)據(jù)

對(duì)于通用多任務(wù)、多模式模型的嘗試，可以追溯到谷歌此前提到的“一個(gè)模型來(lái)學(xué)習(xí)”。

此前有研究發(fā)現(xiàn)，LLMs 可實(shí)現(xiàn)讓機(jī)器人通過(guò)自然語(yǔ)言對(duì)每個(gè)步驟的解釋來(lái)完成各種任務(wù)，但由于對(duì)機(jī)器人所處環(huán)境和現(xiàn)實(shí)能力缺乏認(rèn)知，LLMs 的解釋時(shí)常會(huì)出現(xiàn)無(wú)法被理解的情況。隨著 PaLM-SayCan 的出現(xiàn)，這一問(wèn)題也已經(jīng)得到解決。

DeepMind 推出的 Gato 將這項(xiàng)工作帶到了另一個(gè)層次，通過(guò)一個(gè)1.2B參數(shù)轉(zhuǎn)換器，可以實(shí)現(xiàn)在機(jī)器人、模擬環(huán)境、視覺(jué)和語(yǔ)言中執(zhí)行數(shù)百項(xiàng)任務(wù)。

此外，Transformer 作為一種解碼器架構(gòu)，當(dāng)前其影響力已經(jīng)超出 NLP，在計(jì)算機(jī)視覺(jué)上也發(fā)揮著重要作用，正在成為真正的跨模態(tài)產(chǎn)品。

2022 劍橋 AI 全景報(bào)告出爐：擴(kuò)散模型是風(fēng)口，中國(guó)論文數(shù)量為美國(guó)的 4.5 倍

圖注：與 Transformer 相關(guān)的論文占比

社區(qū)驅(qū)動(dòng)的大型模型開源速度加快，集合模式可以參與同大型實(shí)驗(yàn)室的競(jìng)爭(zhēng)

OpenAI、DeepMind 旗下有多個(gè)模型已被開源社區(qū)實(shí)現(xiàn)、克隆和改進(jìn)，進(jìn)度遠(yuǎn)超預(yù)期。

圖注：社區(qū)驅(qū)動(dòng)的 GPT 等開源

盡管 AI 研究將越來(lái)越集中于少數(shù)大型實(shí)驗(yàn)室，但隨著計(jì)算成本和訪問(wèn)權(quán)限的降低，因此也出現(xiàn)了最先進(jìn)的研究在更小、以前不為人知的實(shí)驗(yàn)室得到提出等情況，同時(shí)，這些新的獨(dú)立研究實(shí)驗(yàn)室也在迅速開源。

受神經(jīng)科學(xué)的啟發(fā)，AI 研究方法向認(rèn)知科學(xué)的方向發(fā)展

圖注：中美 AI 論文數(shù)量對(duì)比

數(shù)據(jù)顯示，自2010年以來(lái)，中國(guó)機(jī)構(gòu)撰寫的 AI 論文數(shù)量是美國(guó)的4.5倍，遠(yuǎn)遠(yuǎn)超過(guò)美國(guó)、印度、英國(guó)和德國(guó)的總和。

同時(shí)，中國(guó)的論文更關(guān)注與監(jiān)控相關(guān)的任務(wù)，包括對(duì)象檢測(cè)、跟蹤、場(chǎng)景理解、動(dòng)作和說(shuō)話者識(shí)別等。

AI 初創(chuàng)公司投資放緩

新貴 AI 半導(dǎo)體初創(chuàng)公司與英偉達(dá)相比是否有作為？

報(bào)告顯示，英偉達(dá)的芯片在 AI 研究論文中最受歡迎， GPU 的使用率是 ASIC 的131倍，是 Graphcore 、 Habana 、 Cerebras 、 SambaNova 和 Cambricon 的芯片總和的90倍，是谷歌 TPU 的78倍，是 FPGA 的 23 倍。

圖注：英偉達(dá)芯片在 AI 論文中的引用數(shù)量

招聘凍結(jié)和 AI 實(shí)驗(yàn)室解散，促使許多初創(chuàng)公司從 DeepMind 和 OpenAI 等巨頭中誕生

DeepMind 和 OpenAI 的校友各自開花，組建了許多新的初創(chuàng)公司，分別研究不同領(lǐng)域的 AI 技術(shù)，如：AGI 、人工智能安全、生物技術(shù)、金融科技、能源、開發(fā)工具和機(jī)器人技術(shù)。

圖注：由 DeepMind 和 OpenAI 分解出來(lái)的初創(chuàng)公司

最新 AI 技術(shù)被大型科技公司和初創(chuàng)公司轉(zhuǎn)化為商業(yè)開發(fā)人員工具

OpenAI 的 Codex 迅速?gòu)?2021 年 7 月的研究演變?yōu)?2022 年 6 月的開放商業(yè)化，微軟的 GitHub Copilot 現(xiàn)在以每月 10 美元到每年 100 美元。亞馬遜在 2022 年 6 月發(fā)布了 CodeWhisperer 預(yù)覽版。谷歌透露，其內(nèi)部正在使用以 ML 驅(qū)動(dòng)的代碼完成工具，也許幾年內(nèi)會(huì)出現(xiàn)在瀏覽器 IDE 中。同時(shí)，擁有 100 多萬(wàn)用戶的 Tabnine 籌集了 1500 萬(wàn)美元，承諾有望實(shí)現(xiàn)準(zhǔn)確的多行代碼填寫。

人工智能加快藥物研發(fā)，促進(jìn)醫(yī)療產(chǎn)業(yè)發(fā)展

人工智能藥物發(fā)現(xiàn)公司在臨床試驗(yàn)中擁有 18 項(xiàng)資產(chǎn)，高于 2020 年的 0 項(xiàng)。

圖注：每家公司各個(gè)階段的資產(chǎn)數(shù)量和資產(chǎn)百分比

另外，由于放射科醫(yī)生的短缺和成影數(shù)量的增加，通過(guò)評(píng)估X光片針對(duì)疾病變得更有挑戰(zhàn)性。因此立陶宛初創(chuàng)公司 Oxipit 創(chuàng)建了一個(gè)名叫 ChestLink 的計(jì)算機(jī)視覺(jué)系統(tǒng)，該系統(tǒng)可以自動(dòng)報(bào)告沒(méi)有異常的胸部 X 光片，就無(wú)需放射科醫(yī)生來(lái)檢查，這是業(yè)界首個(gè)基于計(jì)算機(jī)視覺(jué)的診斷自主認(rèn)證。

大學(xué)是孕育人工智能公司的溫床

目前，大學(xué)是人工智能公司重要的資源來(lái)源，包括 Databricks 、 Snorkel 、 SambaNova 、 Exscientia 等。在英國(guó)有 4.3% 的人工智能公司是大學(xué)拆分出來(lái)的，是所有英國(guó)公司的 0.03% ，人工智能是能夠拆分的代表性行業(yè)之一，通常這需要高昂的代價(jià)，技術(shù)轉(zhuǎn)讓辦公室（TTOs）通常就拆分交易條款進(jìn)行談判。

隨著市場(chǎng)的擴(kuò)大，對(duì)AI初創(chuàng)公司的投資速度在放緩

與去年相比， 2022 年預(yù)計(jì)使用AI的公司融資額將減少36%，但仍有望超過(guò) 2020 年的水平，這與全球所有 Start-up 階段和 Scale-up 階段的公司投資相當(dāng)。

VC 投資的下降在 1 億以上的輪次中最明顯，而投資規(guī)模較小的輪次預(yù)計(jì)到 2022 年底全球?qū)⑦_(dá)到 309 億美元，與 2021 年的水平相當(dāng)。

綜合公共企業(yè)價(jià)值（EV）已經(jīng)下降到 2020 年的水平。同時(shí)，私營(yíng)企業(yè)的估值不斷增長(zhǎng)，綜合企業(yè)價(jià)值已經(jīng)達(dá)到 2.2 萬(wàn)億美元，比去年增長(zhǎng) 16% 。

圖注：對(duì) AI 初創(chuàng)公司的投資（按輪次）以及對(duì)所有初創(chuàng)公司的投資（按輪次）

目前美國(guó)的AI獨(dú)角獸公司數(shù)量領(lǐng)先，其次是中國(guó)和英國(guó)。美國(guó)已經(jīng)創(chuàng)造了 292 家 AI 獨(dú)角獸公司，企業(yè)價(jià)值合計(jì) 4.6 萬(wàn)億美元，中國(guó)創(chuàng)造了 69 家 AI 獨(dú)角獸公司，企業(yè)價(jià)值合計(jì) 1.4 萬(wàn)億美元，英國(guó)創(chuàng)造了 24 家 AI 獨(dú)角獸公司，企業(yè)價(jià)值合計(jì) 2070 億美元。

圖注：各個(gè)國(guó)家獨(dú)角獸企業(yè)數(shù)量以及獨(dú)角獸企業(yè)

盡管對(duì)于美國(guó) AI 初創(chuàng)公司的投資大幅度下降，但它們?nèi)匀徽既蛉斯ぶ悄芸偼顿Y的一半以上。

圖注：對(duì) AI 公司的投資金額

企業(yè)軟件是全球投資最多的類別，而機(jī)器人技術(shù)占據(jù)了 AI 風(fēng)險(xiǎn)投資的最大份額。

圖注：各個(gè)領(lǐng)域投資金額

盡管 IPO 和 SPAC IPO 的數(shù)量急劇下降，但 AI 公司的收購(gòu)數(shù)量可能會(huì)超出 2021 年的水平。

圖注：全球 AI 公司的退出數(shù)量，以及 2022 年退出的 AI 企業(yè)

對(duì)未來(lái)一年的預(yù)測(cè)

在2021年的報(bào)告中，曾對(duì)2022年 AI 的發(fā)展情況做出了8項(xiàng)預(yù)測(cè)，其中已實(shí)現(xiàn) Transformers 在游戲中超過(guò)人類表現(xiàn)，這主要得益于 DeepMind 的 Gato 模型可實(shí)現(xiàn)對(duì)未來(lái)狀態(tài)和動(dòng)作的預(yù)測(cè)，日內(nèi)瓦大學(xué)提出的 IRIS 模型則解決了 Atari 環(huán)境下的任務(wù)。

未實(shí)現(xiàn)的預(yù)測(cè)中提到，Graphcore、Cerebras、SambaNova、Groq、Mythic 中至少有一家被大型科技公司或者半導(dǎo)體公司收購(gòu)，在今年也沒(méi)有實(shí)現(xiàn)；ASML 的市值當(dāng)前僅為1650億美元，距預(yù)期中的5000億美元還存在很大差距；JAX 框架的使用仍然占 Papers With Code 每月回購(gòu)的不到1%，未達(dá)到預(yù)測(cè)中的5%。

圖注：2021年預(yù)測(cè)中共4項(xiàng)實(shí)現(xiàn)

還有一些往年的預(yù)測(cè)在今年實(shí)現(xiàn)了，其中，美國(guó) CHIPS 法案在今年禁止接收方在中國(guó)擴(kuò)大業(yè)務(wù)，原預(yù)測(cè)中英偉達(dá)最終未能完成對(duì) Arm 的收購(gòu)、該交易也于今年正式取消。在 AI 初創(chuàng)公司方面，Helsing（德國(guó)）在今年籌集了1億美元的A輪融資。

而對(duì)于一直備受關(guān)注的 AI 治理問(wèn)題，2019年預(yù)測(cè)至少有一家主流 AI 公司會(huì)對(duì)治理及管理模式作出實(shí)質(zhì)性的調(diào)整，Anthropic 也在今年成立、作為公益性公司活動(dòng)。