0
| 本文作者： 我在思考中 | 2022-08-29 11:35 |
在當(dāng)前 AI 模型的開發(fā)以模型為中心轉(zhuǎn)向以數(shù)據(jù)為中心的趨勢下，數(shù)據(jù)的質(zhì)量變得尤為重要。
在以往的 AI 開發(fā)流程中，數(shù)據(jù)集通常是固定的，開發(fā)工作的重點(diǎn)是迭代模型架構(gòu)或訓(xùn)練過程來提高基準(zhǔn)性能。而現(xiàn)在，數(shù)據(jù)迭代成為重心，因此我們需要更系統(tǒng)的方法來評(píng)估、篩選、清洗和注釋用于訓(xùn)練和測試 AI 模型的數(shù)據(jù)。
最近，斯坦福大學(xué)計(jì)算機(jī)科學(xué)系的Weixin Liang、李飛飛等人在《自然-機(jī)器智能》上共同發(fā)表了一篇題為“Advances, challenges and opportunities in creating data for trustworthy AI”的文章，在 AI 數(shù)據(jù)全流程的各個(gè)環(huán)節(jié)上討論了保證數(shù)據(jù)質(zhì)量的關(guān)鍵因素和方法。
AI 數(shù)據(jù)流程中的主要步驟包括：數(shù)據(jù)設(shè)計(jì)（數(shù)據(jù)的采集和記錄）、數(shù)據(jù)改善（數(shù)據(jù)篩選、清洗、標(biāo)注、增強(qiáng)）以及用于評(píng)估和監(jiān)控 AI 模型的數(shù)據(jù)策略，其中的每一個(gè)環(huán)節(jié)都會(huì)影響最終 AI 模型的可信度。
圖1：從數(shù)據(jù)設(shè)計(jì)到評(píng)估的以數(shù)據(jù)為中心的方法開發(fā)路線圖。
確定了一個(gè)人工智能應(yīng)用程序后，開發(fā) AI 模型第一步就是設(shè)計(jì)數(shù)據(jù)（即識(shí)別和記錄數(shù)據(jù)來源）。
設(shè)計(jì)應(yīng)當(dāng)是一個(gè)迭代過程——用試驗(yàn)數(shù)據(jù)來開發(fā)初始的 AI 模型，然后再收集額外數(shù)據(jù)來修補(bǔ)模型的局限性。設(shè)計(jì)的關(guān)鍵標(biāo)準(zhǔn)是確保數(shù)據(jù)適用于任務(wù)，并覆蓋足夠的范圍來代表模型可能遇到的不同用戶和場景。
而目前用于開發(fā) AI 的數(shù)據(jù)集通常覆蓋范圍有限或者具有偏差。例如在醫(yī)療 AI 中，用于開發(fā)算法的患者數(shù)據(jù)的收集在地區(qū)分布上不成比例，這會(huì)限制 AI 模型對(duì)不同人群的適用性。
提高數(shù)據(jù)覆蓋率的一種方法，是讓更廣泛的社區(qū)參與數(shù)據(jù)的創(chuàng)建。目前最大的公共數(shù)據(jù)集 Common Voice 項(xiàng)目就是一個(gè)例證，該數(shù)據(jù)集包含了來自 166000 多名參與者的 76 種語言的 11192 小時(shí)語音轉(zhuǎn)錄。
而當(dāng)代表性數(shù)據(jù)難以獲得時(shí)，可以用合成數(shù)據(jù)來填補(bǔ)覆蓋空白。比如真實(shí)人臉的收集通常涉及隱私問題和抽樣偏差，而由深度生成模型創(chuàng)建的合成人臉現(xiàn)在已經(jīng)被用于減輕數(shù)據(jù)不平衡和偏差。在醫(yī)療保健領(lǐng)域，可以共享合成醫(yī)療記錄來促進(jìn)知識(shí)發(fā)現(xiàn)，而無需披露實(shí)際的患者信息。在機(jī)器人技術(shù)中，真實(shí)世界的挑戰(zhàn)是終極的測試平臺(tái)，也可以用高保真模擬環(huán)境來讓智能體在復(fù)雜和長期任務(wù)中實(shí)現(xiàn)更快、更安全的學(xué)習(xí)。
但合成數(shù)據(jù)也存在一些問題。合成數(shù)據(jù)與現(xiàn)實(shí)數(shù)據(jù)之間總是存在差距，所以在將基于合成數(shù)據(jù)訓(xùn)練的 AI 模型轉(zhuǎn)移到現(xiàn)實(shí)世界時(shí)，通常會(huì)出現(xiàn)性能下降。如果模擬器的設(shè)計(jì)不考慮少數(shù)群體，那么合成數(shù)據(jù)也會(huì)加劇數(shù)據(jù)差異，而 AI 模型的性能高度依賴其訓(xùn)練和評(píng)估數(shù)據(jù)的上下文，因此在標(biāo)準(zhǔn)化和透明的報(bào)告中記錄數(shù)據(jù)設(shè)計(jì)地上下文就非常重要。
現(xiàn)在，研究人員已經(jīng)創(chuàng)建了各種「數(shù)據(jù)營養(yǎng)標(biāo)簽」（data nutrition labels）來捕獲有關(guān)數(shù)據(jù)設(shè)計(jì)和注釋過程的元數(shù)據(jù)（metadata）。有用的元數(shù)據(jù)包括數(shù)據(jù)集中參與者的性別、性別、種族和地理位置的統(tǒng)計(jì)數(shù)據(jù)，這有助于發(fā)現(xiàn)是否有代表性不足的亞群未被覆蓋。數(shù)據(jù)來源也是一種元數(shù)據(jù)，它跟蹤數(shù)據(jù)的來源和時(shí)間以及產(chǎn)生數(shù)據(jù)的過程和方法。
元數(shù)據(jù)可以保存在一個(gè)專門的數(shù)據(jù)設(shè)計(jì)文檔里，數(shù)據(jù)文檔對(duì)于觀察數(shù)據(jù)的生命周期和社會(huì)技術(shù)背景來說非常重要。文檔可以上傳到穩(wěn)定且集中的數(shù)據(jù)存儲(chǔ)庫（例如 Zenodo）中。
初始數(shù)據(jù)集收集完成后，我們就需要進(jìn)一步完善數(shù)據(jù)，為 AI 的開發(fā)提供更有效的數(shù)據(jù)。這是 AI 以模型為中心的方法與以數(shù)據(jù)為中心的方法的關(guān)鍵不同之處，如圖 2a ，以模型為中心的研究通常是基于給定的數(shù)據(jù)，專注于改進(jìn)模型架構(gòu)或優(yōu)化此數(shù)據(jù)。而以數(shù)據(jù)為中心的研究則側(cè)重于可擴(kuò)展的方法，通過數(shù)據(jù)清洗、篩選、標(biāo)注、增強(qiáng)等過程來系統(tǒng)地改進(jìn)數(shù)據(jù)，并且可以使用一站式的模型開發(fā)平臺(tái)。
圖2a：AI 以模型為中心與以數(shù)據(jù)為中心的方法比較。MNIST、COCO 和 ImageNet 是 AI 研究中常用的數(shù)據(jù)集。
如果數(shù)據(jù)集的噪聲很大，我們就得仔細(xì)對(duì)數(shù)據(jù)進(jìn)行篩選之后再做訓(xùn)練，這樣可以顯著提高模型的可靠性和泛化性。圖 2a 中的飛機(jī)圖像就是鳥類數(shù)據(jù)集中應(yīng)刪除的噪聲數(shù)據(jù)點(diǎn)。
在 圖 2b 中，由于訓(xùn)練數(shù)據(jù)的偏差，在以前使用的大型皮膚病學(xué)數(shù)據(jù)上訓(xùn)練的四種最先進(jìn)的模型都表現(xiàn)不佳，在深色皮膚圖像上的診斷效果尤其不好，而在較小的高質(zhì)量數(shù)據(jù)上訓(xùn)練的模型 1 在深淺膚色上都相對(duì)更可靠一些。
圖 2b：淺色皮膚和深色皮膚圖像上的皮膚病診斷測試性能。
圖 2c 顯示，ResNet、DenseNet 和 VGG 這三種用于圖像分類的流行深度學(xué)習(xí)架構(gòu)，如果是在噪聲大的圖像數(shù)據(jù)集上進(jìn)行訓(xùn)練，其性能都欠佳。而經(jīng)過數(shù)據(jù)Shapley 值過濾后，質(zhì)量較差的數(shù)據(jù)被刪除，此時(shí)在更干凈的數(shù)據(jù)子集上訓(xùn)練的ResNet模型性能顯著更優(yōu)。
圖 2c：數(shù)據(jù)過濾前后不同模型的對(duì)象識(shí)別測試性能比較。括號(hào)中的數(shù)字表示過濾掉噪聲數(shù)據(jù)后剩下的訓(xùn)練數(shù)據(jù)點(diǎn)的數(shù)量，結(jié)果匯總在五個(gè)隨機(jī)種子上，陰影區(qū)域代表 95% 置信區(qū)間。
這就是數(shù)據(jù)評(píng)估的意義所在，它旨在量化不同數(shù)據(jù)的重要程度，并過濾掉可能由于質(zhì)量差或偏差而損害模型性能的數(shù)據(jù)。
在本文中，作者介紹了兩種數(shù)據(jù)評(píng)估方法來幫助清洗數(shù)據(jù)：
一種方法是測量在訓(xùn)練過程中刪除不同數(shù)據(jù)時(shí) AI 模型表現(xiàn)的變化，這可以采用數(shù)據(jù)的 Shapley 值或影響近似值來獲得，如下圖 3a。這種方法能夠有效計(jì)算大型 AI 模型的評(píng)估。
另一種方法則是預(yù)測不確定性來檢測質(zhì)量差的數(shù)據(jù)點(diǎn)。數(shù)據(jù)點(diǎn)的人類注釋可能會(huì)系統(tǒng)地偏離 AI 模型預(yù)測，置信學(xué)習(xí)算法可以檢測出這些偏差，在 ImageNet 等常見基準(zhǔn)測試中發(fā)現(xiàn)超過 3% 的測試數(shù)據(jù)被錯(cuò)誤標(biāo)注。過濾掉這些錯(cuò)誤可以大大提升模型的性能。
數(shù)據(jù)標(biāo)注也是數(shù)據(jù)偏差的一個(gè)主要來源。盡管 AI 模型可以容忍一定程度的隨機(jī)標(biāo)簽噪聲，但有偏差的錯(cuò)誤會(huì)產(chǎn)生有偏差的模型。目前，我們主要依賴于人工標(biāo)注，成本很昂貴，比如標(biāo)注單個(gè) LIDAR 掃描的成本可能超過 30 美元，因?yàn)樗侨S數(shù)據(jù)，標(biāo)注者需要繪制出三維邊界框，比一般的標(biāo)注任務(wù)要求更高。
因此作者認(rèn)為，我們需要仔細(xì)校準(zhǔn) MTurk 等眾包平臺(tái)上的標(biāo)注工具，提供一致的標(biāo)注規(guī)則。在醫(yī)療環(huán)領(lǐng)域，還要考慮到標(biāo)注人員可能需要專業(yè)知識(shí)或者可能有無法眾包的敏感數(shù)據(jù)。
降低注釋成本的一種方法是數(shù)據(jù)編程。在數(shù)據(jù)編程中，AI 開發(fā)人員不再需要手動(dòng)標(biāo)記數(shù)據(jù)點(diǎn)，而是編寫程序標(biāo)簽函數(shù)來自動(dòng)標(biāo)注訓(xùn)練集。如圖 3b，使用用戶定義的標(biāo)簽函數(shù)為每個(gè)輸入自動(dòng)生成多個(gè)可能有噪聲的標(biāo)簽后，我們可以設(shè)計(jì)額外的算法，來聚合多個(gè)標(biāo)簽功能以減少噪聲。
圖 3b：數(shù)據(jù)編程。
另一種降低標(biāo)注成本的「人在回路」（human-in-the-loop）方法是優(yōu)先考慮最有價(jià)值的數(shù)據(jù)，以便我們通過主動(dòng)學(xué)習(xí)（active learning）來進(jìn)行標(biāo)注。主動(dòng)學(xué)習(xí)從最佳實(shí)驗(yàn)設(shè)計(jì)中汲取思想，在主動(dòng)學(xué)習(xí)中，算法從一組未標(biāo)注的數(shù)據(jù)點(diǎn)中選擇信息量最大的點(diǎn)，比如具有高信息增益的點(diǎn)或模型在其上具有不確定性的點(diǎn)嗎，然后再進(jìn)行人工標(biāo)注。這種方法的好處是，所需的數(shù)據(jù)數(shù)量比標(biāo)準(zhǔn)的監(jiān)督學(xué)習(xí)所需的數(shù)據(jù)量要少得多。
最后，當(dāng)現(xiàn)有數(shù)據(jù)仍十分有限時(shí)，數(shù)據(jù)增強(qiáng)就是一種擴(kuò)充數(shù)據(jù)集和提高模型可靠性的有效方法。
計(jì)算機(jī)視覺數(shù)據(jù)可以通過圖像旋轉(zhuǎn)、翻轉(zhuǎn)和其他數(shù)字轉(zhuǎn)換來增強(qiáng)，文本數(shù)據(jù)可以通過變換自動(dòng)書寫風(fēng)格來增強(qiáng)。還有最近的 Mixup，是一種更復(fù)雜的增強(qiáng)技術(shù)，它通過對(duì)訓(xùn)練樣本對(duì)進(jìn)行插值來創(chuàng)建新的訓(xùn)練數(shù)據(jù)，如圖 3c。
除了人工數(shù)據(jù)增強(qiáng)之外，目前的 AI 的自動(dòng)化數(shù)據(jù)增強(qiáng)流程也是一種流行方案。此外，當(dāng)未標(biāo)注的數(shù)據(jù)可用時(shí)，還可以通過使用初始模型進(jìn)行預(yù)測（這些預(yù)測稱為偽標(biāo)簽）來實(shí)現(xiàn)標(biāo)簽增強(qiáng)，然后在具有真實(shí)和高置信度偽標(biāo)簽的組合數(shù)據(jù)上訓(xùn)練一個(gè)更大的模型。
在模型經(jīng)過訓(xùn)練后，AI 評(píng)估的目標(biāo)是模型的通用性和可信性。
為了實(shí)現(xiàn)這一目標(biāo)，我們應(yīng)該仔細(xì)設(shè)計(jì)評(píng)估數(shù)據(jù)，從而去找到模型的現(xiàn)實(shí)世界設(shè)置（real-world settings），同時(shí)評(píng)估數(shù)據(jù)也需要與模型的訓(xùn)練數(shù)據(jù)有足夠大的差異。
舉個(gè)例子，在醫(yī)學(xué)研究中，AI 模型通常是基于少數(shù)醫(yī)院的數(shù)據(jù)訓(xùn)練的。這樣的模型在新的醫(yī)院部署時(shí)，由于數(shù)據(jù)收集和處理方面的差異，其準(zhǔn)確性就會(huì)降低。為了評(píng)價(jià)模型的泛化性，就需要從不同的醫(yī)院、不同的數(shù)據(jù)處理管道收集評(píng)價(jià)數(shù)據(jù)。在其他應(yīng)用程序中，評(píng)估數(shù)據(jù)應(yīng)該從不同的來源收集，最好由不同的注釋器標(biāo)記為訓(xùn)練數(shù)據(jù)。同時(shí)，高質(zhì)量的人類標(biāo)簽仍然是最重要的評(píng)價(jià)。
AI 評(píng)估的一個(gè)重要作用是，判斷 AI 模型是否在不能很好形成概念的訓(xùn)練數(shù)據(jù)中將虛假相關(guān)性作為「捷徑」。例如，在醫(yī)學(xué)成像中，數(shù)據(jù)的處理方式（例如裁剪或圖像壓縮）可能產(chǎn)生模型拾取的虛假相關(guān)性（即捷徑）。這些捷徑表面上可能很有幫助，但當(dāng)模型部署在稍有不同的環(huán)境中時(shí)，就可能會(huì)出現(xiàn)災(zāi)難性的失敗。
系統(tǒng)的數(shù)據(jù)消融是檢查潛在的模型「捷徑」的好方法。在數(shù)據(jù)消融（data ablation）中，AI 模型在虛假相關(guān)表面信號(hào)的消融輸入上進(jìn)行訓(xùn)練和測試。
使用數(shù)據(jù)消融探測出模型捷徑的一個(gè)例子是，一項(xiàng)關(guān)于常見自然語言推理數(shù)據(jù)集的研究發(fā)現(xiàn)，僅對(duì)文本輸入的前一半進(jìn)行訓(xùn)練的人工智能模型在推斷文本的前一半和后一半之間的邏輯關(guān)系方面取得了很高的準(zhǔn)確性，而人類在相同的輸入上的推斷水平和隨機(jī)猜測差不多。這就表明人工智能模型利用虛假相關(guān)性作為完成這項(xiàng)任務(wù)的捷徑。研究團(tuán)隊(duì)發(fā)現(xiàn)，特定的語言現(xiàn)象會(huì)被人工智能模型利用，如文本中的否定與標(biāo)簽高度相關(guān)。
數(shù)據(jù)消融被廣泛適用于各個(gè)領(lǐng)域。例如，在醫(yī)學(xué)領(lǐng)域，可以屏蔽圖像中與生物相關(guān)的部分，用這種方式來評(píng)估人工智能是從虛假背景中學(xué)習(xí)，還是從圖像質(zhì)量的人工制品中學(xué)習(xí)。
AI 評(píng)估通常局限于比較整個(gè)測試數(shù)據(jù)集的總體性能指標(biāo)。但即使 AI 模型在總體數(shù)據(jù)層面工作良好，它仍然可能在特定的數(shù)據(jù)子組上顯示出系統(tǒng)性錯(cuò)誤，而對(duì)這些錯(cuò)誤集群的特征描述可以讓我們更加了解模型的局限性。
當(dāng)元數(shù)據(jù)可用時(shí)，細(xì)粒度的評(píng)估方法應(yīng)該盡可能地按數(shù)據(jù)集中參與者的性別、性別、種族和地理位置對(duì)評(píng)估數(shù)據(jù)進(jìn)行切片——例如，“亞洲老年男性”或“美國土著女性”——并量化模型在每個(gè)數(shù)據(jù)子組上的表現(xiàn)。多精度審計(jì)（Multi-accuracy auditing）是一種自動(dòng)搜索 AI 模型表現(xiàn)不佳的數(shù)據(jù)子組的算法。在此處，審計(jì)算法被訓(xùn)練來使用元數(shù)據(jù)預(yù)測和聚類原始模型的錯(cuò)誤，然后提供 AI 模型犯了什么錯(cuò)，為什么會(huì)犯錯(cuò)等問題的可解釋答案。
當(dāng)元數(shù)據(jù)不可用時(shí)，Domino 等方法會(huì)自動(dòng)識(shí)別評(píng)估模型容易出錯(cuò)的數(shù)據(jù)集群，并使用文本生成來創(chuàng)建這些模型錯(cuò)誤的自然語言解釋。
目前大多數(shù) AI 研究項(xiàng)目只開發(fā)一次數(shù)據(jù)集，但現(xiàn)實(shí)世界的 AI 用戶通常需要不斷更新數(shù)據(jù)集和模型。持續(xù)的數(shù)據(jù)開發(fā)將帶來以下挑戰(zhàn)：
首先，數(shù)據(jù)和 AI 任務(wù)都可以隨著時(shí)間的推移而變化：例如，可能道路上出現(xiàn)了一種新的車輛模型（即領(lǐng)域轉(zhuǎn)移），或者可能 AI 開發(fā)人員想要識(shí)別一種新的對(duì)象類別（例如，不同于普通公交車的校車類型），這就會(huì)改變標(biāo)簽的分類。而將扔掉數(shù)百萬小時(shí)的舊標(biāo)簽數(shù)據(jù)十分浪費(fèi)，所以更新勢在必行。此外，培訓(xùn)和評(píng)估指標(biāo)應(yīng)該經(jīng)過精心設(shè)計(jì)后用來權(quán)衡新數(shù)據(jù)，并為每個(gè)子任務(wù)使用適當(dāng)?shù)臄?shù)據(jù)。
其次，為了持續(xù)獲取和使用數(shù)據(jù)，用戶將需要自動(dòng)化大部分以數(shù)據(jù)為中心的 AI 過程。這種自動(dòng)化包括使用算法來選擇將哪些數(shù)據(jù)發(fā)送給標(biāo)注器，以及如何使用它來重新訓(xùn)練模型，并且只在過程出現(xiàn)錯(cuò)誤時(shí)（例如，準(zhǔn)確度指標(biāo)下降時(shí)）才向模型開發(fā)人員發(fā)出警報(bào)。作為“MLOps（Machine Learning Operations，機(jī)器學(xué)習(xí)操作）”趨勢的一部分，業(yè)界公司開始使用工具來實(shí)現(xiàn)機(jī)器學(xué)習(xí)生命周期的自動(dòng)化。
雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
