小數(shù)據(jù)，大前景！美國智庫最新報告：長期被忽略的小數(shù)據(jù)人工智能潛力不可估量

本文作者：我在思考中

2021-11-08 15:57

導(dǎo)語：“小數(shù)據(jù)”AI的時代要來了？

小數(shù)據(jù)，大前景！美國智庫最新報告：長期被忽略的小數(shù)據(jù)人工智能潛力不可估量

編譯 | 莓酊

編輯 | 青暮

2021年9月，美國網(wǎng)絡(luò)安全和新興技術(shù)局（Center for Security and Emerging Technology，簡稱CSET）發(fā)布了研究報告《小數(shù)據(jù)人工智能的巨大潛力》（Small Data’s Big AI Potential ）。報告指明一點：長期被忽略的小數(shù)據(jù)（Small Data）人工智能潛力不可估量！

小數(shù)據(jù)，大前景！美國智庫最新報告：長期被忽略的小數(shù)據(jù)人工智能潛力不可估量

論文地址：https://cset.georgetown.edu/publication/small-datas-big-ai-potential/

傳統(tǒng)觀點認為，大量數(shù)據(jù)支撐起了尖端人工智能的發(fā)展，大數(shù)據(jù)也一直被奉為打造成功機器學(xué)習(xí)項目的關(guān)鍵之匙。但AI ≠ Big Data，該研究指出，制定規(guī)則時如果將——人工智能依賴巨量數(shù)據(jù)、數(shù)據(jù)是必不可少的戰(zhàn)略資源、獲取數(shù)據(jù)量決定國家（或公司）的人工智能進展—— 視為永恒真理，就會“誤入歧途”。介于當(dāng)下大環(huán)境過分強調(diào)大數(shù)據(jù)卻忽略了小數(shù)據(jù)人工智能的存在，低估了它不需要大量標記數(shù)據(jù)集或從收集數(shù)據(jù)的潛力，研究人員從四個方面“縮短大小實體間AI能力差距、減少個人數(shù)據(jù)的收集、促進數(shù)據(jù)匱乏領(lǐng)域的發(fā)展和避免臟數(shù)據(jù)問題”說明了“小數(shù)據(jù)”方法的重要性。

小數(shù)據(jù)方法是什么？

小數(shù)據(jù)方法是一種只需少量數(shù)據(jù)集就能進行訓(xùn)練的人工智能方法。它適用于數(shù)據(jù)量少或沒有標記數(shù)據(jù)可用的情況，減少對人們收集大量現(xiàn)實數(shù)據(jù)集的依賴。

這里所說的“小數(shù)據(jù)”并不是明確類別，沒有正式和一致認可的定義。學(xué)術(shù)文章討論小數(shù)據(jù)與應(yīng)用領(lǐng)域相關(guān)性時，常與樣本大小相掛鉤，例如千字節(jié)或兆字節(jié)與 TB 數(shù)據(jù)。對許多數(shù)據(jù)的引用最終走向都是作為通用資源。然而，數(shù)據(jù)是不可替代的，不同領(lǐng)域的人工智能系統(tǒng)需要不同類型的數(shù)據(jù)和方法，具體取決待解決的問題。

本文主要從決策者的角度講述“小數(shù)據(jù)”。政府人員通常被看作是人工智能領(lǐng)域潛在的強力參與者，因為他們對社會運行規(guī)則更為了解并可以訪問大量數(shù)據(jù)——例如氣候監(jiān)測數(shù)據(jù)、地質(zhì)調(diào)查、邊境控制、社會保障、選民登記、車輛和司機記錄等。人口眾多、數(shù)據(jù)收集能力強被認為是國家人工智能競爭能力的重要因素。

一些美國人認為，政府只有可以數(shù)字化、清理和標記大量數(shù)據(jù)，才能從人工智能的革命中受益。雖有些道理，但將AI的進展都歸功于這些條件是偏頗的。因為人工智能的未來不僅只與大數(shù)據(jù)有關(guān)聯(lián)，即使政府部門沒有對大數(shù)據(jù)基礎(chǔ)設(shè)施多加投資，人工智能的創(chuàng)新依舊可以誕生。

”小數(shù)據(jù)“方法的分類

“小數(shù)據(jù)”方法大致可分為五種：a) 遷移學(xué)習(xí)，b) 數(shù)據(jù)標記，c) 人工數(shù)據(jù)生成，d) 貝葉斯方法，以及 e) 強化學(xué)習(xí)。

遷移學(xué)習(xí)（Transfer learning ）的工作原理是先在數(shù)據(jù)豐富的環(huán)境中執(zhí)行任務(wù)，然后將學(xué)到的知識“遷移”到可用數(shù)據(jù)匱乏的任務(wù)中。

比如，開發(fā)人員想做一款用于識別稀有鳥類物種應(yīng)用程序，但每種鳥可能只有幾張標有物種的照片。運用遷移學(xué)習(xí)，他們先用更大、更通用的圖像數(shù)據(jù)庫（例如ImageNet）訓(xùn)練基本圖像分類器，該數(shù)據(jù)庫具有數(shù)千個類別標記過的數(shù)百萬張圖像。當(dāng)分類器能區(qū)分狗與貓、花與水果、麻雀與燕子后，他們就可以將更小的稀有鳥類數(shù)據(jù)集“喂養(yǎng)”給它。然后，該模型可以“轉(zhuǎn)移”圖像分類的知識，利用這些知識從更少的數(shù)據(jù)中學(xué)習(xí)新任務(wù)（識別稀有鳥類）。

數(shù)據(jù)標記（Data labeling）適用于有限標記數(shù)據(jù)和大量未標記數(shù)據(jù)的情況。使用自動生成標簽（自動標記）或識別標簽特別用途的數(shù)據(jù)點（主動學(xué)習(xí)）來處理未標記的數(shù)據(jù)。

例如，主動學(xué)習(xí)（active learning）已被用于皮膚癌診斷的研究。圖像分類模型最初在100張照片上訓(xùn)練，根據(jù)它們的描述判定是癌癥皮膚還是健康皮膚從，而進行標記。然后該模型會訪問更大的潛在訓(xùn)練圖像集，從中可以選擇 100 張額外的照片標記并添加到它的訓(xùn)練數(shù)據(jù)中。

人工數(shù)據(jù)生成（Artificial data generation）是通過創(chuàng)建新的數(shù)據(jù)點或其他相關(guān)技術(shù)，最大限度地從少量數(shù)據(jù)中提取更多信息。

一個簡單的例子，計算機視覺研究人員已經(jīng)能用計算機輔助設(shè)計軟件 (CAD) ——從造船到廣告等行業(yè)廣泛使用的工具——生成日常事物的擬真 3D 圖像，然后用圖像來增強現(xiàn)有的圖像數(shù)據(jù)集。當(dāng)感興趣的數(shù)據(jù)存在單獨信息源時，如本例中是眾包CAD模型時，這樣的方法可行性更高。

生成額外數(shù)據(jù)的能力不僅在處理小數(shù)據(jù)集時有用。任何獨立數(shù)據(jù)的細節(jié)都可能是敏感的（比如個人的健康記錄），但研究人員只對數(shù)據(jù)的整體分布感興趣，這時人工合成數(shù)據(jù)的優(yōu)勢就顯現(xiàn)出來了，它可對數(shù)據(jù)進行隨機變化從而抹去私人痕跡，更好地保護了個人隱私。

貝葉斯方法（Bayesian methods）是通過統(tǒng)計學(xué)和機器學(xué)習(xí)，將有關(guān)問題的架構(gòu)信息（“先驗”信息）納入解決問題的方法中，它與大多數(shù)機器學(xué)習(xí)方法產(chǎn)生了鮮明對比，傾向于對問題做出最小假設(shè)，更適用于數(shù)據(jù)有限的情況，但可以通過有效的數(shù)學(xué)形式寫出關(guān)于問題的信息。貝葉斯方法則側(cè)重對其預(yù)測的不確定性產(chǎn)生良好的校準估計。

作為貝葉斯推斷運用小數(shù)據(jù)的一個例子：貝葉斯方法被用于監(jiān)測全球地震活動，對檢測地殼運動和核條約有著重大意義。通過開發(fā)結(jié)合地震學(xué)的先驗知識模型，研究人員可以充分利用現(xiàn)有數(shù)據(jù)來改進模型。貝葉斯方法是一個龐大的族群，不是僅包含了擅長處理小數(shù)據(jù)集的方法。對其的一些研究也會使用大數(shù)據(jù)集。

強化學(xué)習(xí)（Reinforcement learning）是一個廣義的術(shù)語，指的是機器學(xué)習(xí)方法，其中智能體（計算機系統(tǒng)）通過反復(fù)試驗來學(xué)習(xí)與環(huán)境交互。強化學(xué)習(xí)通常用于訓(xùn)練游戲系統(tǒng)、機器人和自動駕駛汽車。

例如，強化學(xué)習(xí)已被用于訓(xùn)練學(xué)習(xí)如何操作視頻游戲的AI系統(tǒng)——從簡單的街機游戲（如 Pong）到戰(zhàn)略游戲（如星際爭霸）。系統(tǒng)開始時對玩游戲知之甚少或一無所知，但通過嘗試和觀察摸索獎勵信號出現(xiàn)的原因，從而不斷學(xué)習(xí)。（在視頻游戲的例子中，獎勵信號常以玩家得分的形式呈現(xiàn)。）

強化學(xué)習(xí)系統(tǒng)通常從大量數(shù)據(jù)中學(xué)習(xí)，需要海量計算資源，因而它們被列入其中似乎是一個非直觀類別。強化學(xué)習(xí)被襄括進來，是因為它們使用的數(shù)據(jù)通常是在系統(tǒng)訓(xùn)練時生成的——多在模擬的環(huán)境中——而不是預(yù)先收集和標記。在強化學(xué)習(xí)問題中，智能體與環(huán)境交互的能力至關(guān)重要。

圖 1 展示了這些不同區(qū)域是如何相互連接的。每個點代表一個研究集群（一組論文），將其確定為屬于上述類別之一。連接兩個研究集群線的粗細代表它們之間引文鏈接的關(guān)聯(lián)度。沒有線則表示沒有引文鏈接。如圖所示，集群與同類別集群聯(lián)系最多，但不同類集群之間的聯(lián)系也不少。還可以從該圖看到，“強化學(xué)習(xí)”識別的集群形成了特別連貫的分組，而“人工數(shù)據(jù)”集群則更加分散。

圖1所示，小數(shù)據(jù)研究集群網(wǎng)絡(luò)圖

資料來源：CSET 合并學(xué)術(shù)文獻語料庫，截至 2021 年 2 月 12 日。

“小數(shù)據(jù)“方法重要在哪里？

1. 縮短大小實體間AI能力差距

AI 應(yīng)用程序的大型數(shù)據(jù)集價值在不斷增長，不同機構(gòu)收集、存儲和處理數(shù)據(jù)的能力差異缺令人擔(dān)憂。人工智能的“富人”（如大型科技公司）和“窮人”之間也因此拉開差距。如果遷移學(xué)習(xí)、自動標記、貝葉斯方法等能夠在少量數(shù)據(jù)的情況下應(yīng)用于人工智能，那么小型實體進入數(shù)據(jù)方面的壁壘會大幅降低，這可以縮減大、小實體之間的能力差距。

2. 減少個人數(shù)據(jù)的收集

大多數(shù)美國人認為人工智能會吞并個人隱私空間。比如大型科技公司愈多收集與個人身份相關(guān)的消費者數(shù)據(jù)來訓(xùn)練它們的AI算法。某些小數(shù)據(jù)方法能夠減少收集個人數(shù)據(jù)的行為，人工生成新數(shù)據(jù)（如合成數(shù)據(jù)生成）或使用模擬訓(xùn)練算法的方法，一個不依賴于個人生成的數(shù)據(jù)，另一個則具有合成數(shù)據(jù)去除敏感的個人身份屬性的能力。雖然不能將所有隱私擔(dān)憂都解決，但通過減少收集大規(guī)模真實數(shù)據(jù)的需要，讓使用機器學(xué)習(xí)變得更簡單，從而讓人們對大規(guī)模收集、使用或披露消費者數(shù)據(jù)不再擔(dān)憂。

3. 促進數(shù)據(jù)匱乏領(lǐng)域的發(fā)展

可用數(shù)據(jù)的爆炸式增長推動了人工智能的新發(fā)展。但對于許多亟待解決的問題，可以輸入人工智能系統(tǒng)的數(shù)據(jù)卻很少或者根本不存在。比如，為沒有電子健康記錄的人構(gòu)建預(yù)測疾病風(fēng)險的算法，或者預(yù)測活火山突然噴發(fā)的可能性。小數(shù)據(jù)方法以提供原則性的方式來處理數(shù)據(jù)缺失或匱乏。它可以利用標記數(shù)據(jù)和未標記數(shù)據(jù)，從相關(guān)問題遷移知識。小數(shù)據(jù)也可以用少量數(shù)據(jù)點創(chuàng)建更多數(shù)據(jù)點，憑借關(guān)聯(lián)領(lǐng)域的先驗知識，或通過構(gòu)建模擬或編碼結(jié)構(gòu)假設(shè)去開始新領(lǐng)域的冒險。

4. 避免臟數(shù)據(jù)問題

小數(shù)據(jù)方法能讓對“臟數(shù)據(jù)”煩不勝煩的大型機構(gòu)受益。數(shù)據(jù)是一直存在的，但想要它干凈、結(jié)構(gòu)整齊且便于分析就還有很長的路要走。比如由于孤立的數(shù)據(jù)基礎(chǔ)設(shè)施和遺留系統(tǒng)，美國國防部擁有不可計數(shù)的“臟數(shù)據(jù)”，需要耗費大量人力物力進行數(shù)據(jù)清理、標記和整理才能夠“凈化”它們。小數(shù)據(jù)方法中數(shù)據(jù)標記法可以通過自動生成標簽更輕松地處理大量未標記的數(shù)據(jù)。遷移學(xué)習(xí)、貝葉斯方法或人工數(shù)據(jù)方法可以通過減少需要清理的數(shù)據(jù)量，分別依據(jù)相關(guān)數(shù)據(jù)集、結(jié)構(gòu)化模型和合成數(shù)據(jù)來顯著降低臟數(shù)據(jù)問題的規(guī)模。

對于從事人工智能工作的決策者而言，清楚地了解數(shù)據(jù)在人工智能發(fā)展中所扮演的角色和無法勝任的工作都至關(guān)重要。上述因素不適用于所有方法。例如，強化學(xué)習(xí)一般需要大量數(shù)據(jù)，但這些數(shù)據(jù)是在訓(xùn)練過程中生成的（例如，當(dāng) AI 系統(tǒng)移動機器人手臂或在虛擬環(huán)境中導(dǎo)航時），并不是預(yù)先收集的。

研究進展

在研究量方面，過去十年中五種“小數(shù)據(jù)”方法的曲線變化有著非同尋常的軌跡。如圖2所示，強化學(xué)習(xí)和貝葉斯方法是論文數(shù)量最大的兩個類別。貝葉斯集群論文量在過去十年間穩(wěn)步增長，強化學(xué)習(xí)相關(guān)集群的論文量從2015年才開始有所增長，2017—2019年期間的增長尤為迅速。因為深度強化學(xué)習(xí)一直處于瓶頸期，直到2015年經(jīng)歷了技術(shù)性變革。相比之下，過去十年間，每年以集群形式發(fā)表的人工數(shù)據(jù)生成和數(shù)據(jù)標記研究論文數(shù)量一直是鳳毛麟角。最后，遷移學(xué)習(xí)類的論文在 2010 時的數(shù)量比較少，但到 2020 年已實現(xiàn)大幅增長。

小數(shù)據(jù)，大前景！美國智庫最新報告：長期被忽略的小數(shù)據(jù)人工智能潛力不可估量

圖2. 2010-2020 年小數(shù)據(jù)出版物的趨勢

資料來源：CSET 合并學(xué)術(shù)文獻語料庫，截至 2021 年 2 月 12 日。

出版物的絕對數(shù)量并不能代表論文的質(zhì)量。因此，研究人員利用兩個指標來衡量每個類別集群中論文的質(zhì)量：H指數(shù)和年限校正引用。H指數(shù)是常用的度量標準，表示論文的出版活動和總引用次數(shù)。H指數(shù)存在一個局限性是，沒有考慮到論文出版時限（即較早的論文能夠有更多的時間積累引用量的事實）。H指數(shù)低估了那些最有影響力且尚未收集引文的新發(fā)表論文集群。為調(diào)整上述問題，圖3還描繪了經(jīng)年限校正的引文。僅就 H指數(shù)而言，強化學(xué)習(xí)和貝葉斯方法大致相當(dāng)，但考慮到論文的時限，強化學(xué)習(xí)脫穎而出。就五種“小數(shù)據(jù)”方法而論，貝葉斯方法的累積影響似乎更高，強化學(xué)習(xí)因其相對近期論文產(chǎn)量和引用影響的激增而一騎絕塵。

小數(shù)據(jù)，大前景！美國智庫最新報告：長期被忽略的小數(shù)據(jù)人工智能潛力不可估量

圖3. 2010-2020 年按類別劃分的 H 指數(shù)和年限校正引用

資料來源：CSET 合并學(xué)術(shù)文獻語料庫，截至 2021 年 2 月 1 日。

但如果認定強化學(xué)習(xí)是過去十年中增長最快的，那就大錯特錯了。更仔細地觀察每個類別隨時間變化的增長情況，圖4清楚地表明，2011至2020年間，遷移學(xué)習(xí)的增長最為穩(wěn)定（其中有兩年除外），其他所有年份的增長都是最快的。該圖表還顯示了人工數(shù)據(jù)生成在過去五年中實現(xiàn)的增長，這在圖3中不太明顯，因為這一類別的論文總數(shù)很少。然而，2012至2015年間，增長數(shù)據(jù)也出現(xiàn)了最大幅度的下降，這使得人們很難根據(jù)類別的增長軌跡得出具體結(jié)論。

小數(shù)據(jù)，大前景！美國智庫最新報告：長期被忽略的小數(shù)據(jù)人工智能潛力不可估量

圖4. 2011-2020 年按類別劃分的同比增長

資料來源：CSET 合并學(xué)術(shù)文獻語料庫，截至 2021 年 2 月 12 日。

圖5是利用CSET開發(fā)的預(yù)測模型，對每類三年增長預(yù)期以另一類‘Al綜述’論文作為基準進行比較。如圖所示，遷移學(xué)習(xí)是唯一被預(yù)測比整體Al研究增長更快的類別，遠遠超過其他所有類別，與前幾年的持續(xù)增長態(tài)勢保持一致。

小數(shù)據(jù)，大前景！美國智庫最新報告：長期被忽略的小數(shù)據(jù)人工智能潛力不可估量

圖5. 按類別劃分的 2023 年增長預(yù)測

資料來源：CSET 合并學(xué)術(shù)文獻語料庫，截至 2021 年 2 月 12 日。

注：未來增長指數(shù)是根據(jù) CSET 對研究集群增長的預(yù)測計算得出的。

國家競爭力

通過查看全球前10個國家在每種方法中取得的研究進展，可以推導(dǎo)出小數(shù)據(jù)方法的國家競爭力。以簡單的衡量指標，如發(fā)表論文數(shù)量和按年限調(diào)整的引用次數(shù)，初步了解各國在五種“小數(shù)據(jù)”方法的相應(yīng)地位。

與AI研究的總體結(jié)果一致，中國和美國是研究“小數(shù)據(jù)”集群論文量前兩位，緊隨其后的是英國。中國在數(shù)據(jù)標記和遷移學(xué)習(xí)方法領(lǐng)域的學(xué)術(shù)出版物總數(shù)遙遙領(lǐng)先，而美國在貝葉斯方法、強化學(xué)習(xí)和人工數(shù)據(jù)生成方面較有優(yōu)勢。除美國和中國外，其他小數(shù)據(jù)研究排名前10位的國家都是美國的盟友或合作伙伴，俄羅斯等國明顯缺席榜單。當(dāng)前學(xué)術(shù)界常用論文引用量經(jīng)衡量研究質(zhì)量和影響。中國在所有小數(shù)據(jù)類別中的按年限調(diào)整引用量排名第二，在貝葉斯方法中的排名降至第七。

圖6顯示的是按國家細分的三年增長預(yù)測情況。相對于美國和世界其他地區(qū)，中國在遷移學(xué)習(xí)方法方面的增長預(yù)計會大幅提升。這一測如果準確，意味著中國會在遷移學(xué)習(xí)方面發(fā)展得更快更遠。

圖6. 2023 年美國、中國和世界其他地區(qū)（ROW）按類別劃分的增長預(yù)測

資料來源：CSET 合并學(xué)術(shù)文獻語料庫，截至 2021 年 2 月 12 日。

資金籌集

研究人員分析了可用于小數(shù)據(jù)方法的資助數(shù)據(jù)，以確定研究集群中資助論文實體類型的估量。對于上述調(diào)研結(jié)果，只有大約 20-30% 的論文的資助信息。

在各個領(lǐng)域中，在政府、公司、學(xué)術(shù)界和非營利組織中，政府人員一般是研究的重要資助者。在全球范圍內(nèi)，政府資助在“小數(shù)據(jù)”方法集群中所占的比例遠高于人工智能整個領(lǐng)域。如圖7所示，在所有5大類別中，與AI研究整體的經(jīng)費分解相比，政府資助的份額非常高。非盈利組織在用于小數(shù)據(jù)研究的資金中所占的比例比通常用于人工智能的其余部分要小。貝葉斯方法的資助模式與AI總體上最為相似。

小數(shù)據(jù)，大前景！美國智庫最新報告：長期被忽略的小數(shù)據(jù)人工智能潛力不可估量

圖7. 與 AI 整體相關(guān)的數(shù)據(jù)方法的資金來源

資料來源：CSET 合并學(xué)術(shù)文獻語料庫，截至 2021 年 2 月 12 日。

圖 8 進一步按國家/地區(qū)細分了與政府相關(guān)的資金信息。研究結(jié)果表明，政府在小數(shù)據(jù)中投入資金所占比例總體呈上升趨勢，但整體來看，美國政府對小數(shù)據(jù)研究的資金份額低于其在人工智能方面的份額。個體機構(gòu)、企業(yè)傾向于為美國的小數(shù)據(jù)研究提供比整個Al研究更大的份額。