0
雷鋒網(wǎng) AI 科技評論按：本文由 Ben Packer, Yoni Halpern, Mario Guajardo-Céspedes & Margaret Mitchell （Google AI）于 2018 年 4 月 13 日發(fā)布。這篇文章討論并嘗試實際測量了不同文本嵌入模型中的性別偏差。雷鋒網(wǎng) AI 科技評論全文編譯如下。
當(dāng)面對任務(wù)時，我們機(jī)器學(xué)習(xí)從業(yè)者通?；谠撊蝿?wù)上的表現(xiàn)好壞來選擇或訓(xùn)練模型。例如，假設(shè)我們正在建立一個系統(tǒng)來分類電影評論是正面還是負(fù)面，我們會選取 5 種不同的模型，看看每個模型對于這項任務(wù)的表現(xiàn)如何。
通常情況下，我們會選擇模型 C。盡管較之其他模型，模型 C 的效果最好，但是我們發(fā)現(xiàn)，模型 C 也最有可能將更積極的情感賦予「主角是男人」這句話，而不是「主角是女人」這句話。 我們應(yīng)該重新思考這個問題嗎？
神經(jīng)網(wǎng)絡(luò)模型可以非常有力、有效地用于模式識別并揭示從語言翻譯，病理學(xué)到玩游戲等各種不同任務(wù)的結(jié)構(gòu)。同時，神經(jīng)網(wǎng)絡(luò)（以及其他類型的機(jī)器學(xué)習(xí)模型）也包含許多形式的存疑的偏差。例如，被訓(xùn)練用于檢測粗魯，侮辱或不恰當(dāng)評論的分類器在面對「我是同性戀」和「我是直的」這兩句話時，可能更容易命中前一句；人臉識別模型對于著妝的女性而言可能效果不佳；語音轉(zhuǎn)錄對美國黑人的錯誤率可能高于美國白人。
許多預(yù)先訓(xùn)練好的機(jī)器學(xué)習(xí)模型已廣泛供開發(fā)人員使用。例如，TensorFlow Hub 最近公開發(fā)布了平臺。當(dāng)開發(fā)人員在應(yīng)用程序中使用這些模型時，他們意識到模型存在偏差以及偏差在這些應(yīng)用中會如何展現(xiàn)。
人為的數(shù)據(jù)默認(rèn)編碼了人為的偏差。意識到這件事是一個好的開始，關(guān)于如何處理它的研究正在進(jìn)行中。在 Google，我們正在積極研究意外偏差分析和減小偏差的策略，因為我們致力于制造適合每個人的產(chǎn)品。在這篇文章中，我們將研究一些文本嵌入模型，提出一些用于評估特定形式偏差的工具，并討論構(gòu)建應(yīng)用程序時這些問題的重要性。
文本嵌入模型將任何輸入文本轉(zhuǎn)換為數(shù)值化的輸出向量，并且在過程中將語義相似的詞語映射到相鄰的向量空間中：
給定一個訓(xùn)練好的文本嵌入模型，我們可以直接測量模型中的單詞或短語之間的關(guān)聯(lián)。這些關(guān)聯(lián)許多都是符合預(yù)期的，并有助于自然語言任務(wù)。然而，也有些關(guān)聯(lián)可能會有問題。例如，Bolukbasi 等人的突破性 NIPS 論文《Man is to Computer Programmer as Woman is to Homemaker? Debiasing Word Embeddings》（https://arxiv.org/abs/1607.06520）中發(fā)現(xiàn)，基于 Google 新聞文本用流行的開源工具 word2vec 訓(xùn)練的詞向量模型中，「男人」和「女人」之間的向量關(guān)系類似于「醫(yī)生」和「注冊護(hù)士」或「掌柜」和「家庭主婦」之間的關(guān)系。
最近，由 Caliskan 等人提出的詞向量關(guān)聯(lián)測試（WEAT）（Semantics derived automatically from language corpora contain human-like biases, Science, https://arxiv.org/abs/1608.07187）是一種檢查詞向量概念之間關(guān)系的方法，這些概念可以從內(nèi)隱聯(lián)想測驗（IAT）中捕獲。本文我們將 WEAT 用作探索某些存疑關(guān)聯(lián)的一種方式。
WEAT 測試得出了模型將目標(biāo)詞組（例如，非洲裔美國人名字，歐洲美國人名字，花或昆蟲）與屬性詞組（例如「穩(wěn)定」，「愉快」或「不愉快」）聯(lián)系起來的程度。兩個給定詞之間的關(guān)聯(lián)被定義為詞向量之間的余弦相似度。
例如，第一次 WEAT 測試的目標(biāo)列表是花和昆蟲的類型，屬性列表是表愉快的詞（例如「愛」，「和平」）和不愉快的詞（例如「仇恨」，「丑陋的」）。總體測試分?jǐn)?shù)上，相對于昆蟲，花與表示愉快的詞語之間的相關(guān)程度更大。值為正的高分（分?jǐn)?shù)可以介于 2.0 和-2.0 之間）意味著花與愉快的單詞更相關(guān)，而值為負(fù)的高分意味著昆蟲與愉快的單詞更相關(guān)。
而在 Caliskan 等人提出的第一個 WEAT 測試中，測量的關(guān)系并不是社會所關(guān)注的（除了對昆蟲學(xué)家而言），其余的測試可以測量出更多存疑的偏差。
我們使用 WEAT 分?jǐn)?shù)來檢查幾個詞向量模型：word2vec 和 GloVe（以前在 Caliskan 等人文章中提到過），以及 TensorFlow Hub 平臺上開源的三個新發(fā)布的模型——nnlm-en-dim50，nnlm-en-dim128 和 universal-sentence-encoder。得分報告在表 1 中。
這些關(guān)聯(lián)是從用于訓(xùn)練這些模型的數(shù)據(jù)中學(xué)習(xí)得到的。所有模型都已經(jīng)學(xué)會了我們可能期望的花、昆蟲、樂器和武器的聯(lián)系，這可能對文本理解有用。從其他目標(biāo)類別學(xué)習(xí)得到的關(guān)聯(lián)關(guān)系中，包含一些（但不是全部）由模型增強(qiáng)了的常見人為偏差。
對于使用這些模型的開發(fā)人員來說，了解這些關(guān)聯(lián)存在很重要，并且這些測試僅評估一小部分可能存在問題的偏差。減少不必要偏差的策略是一個新的活躍的研究領(lǐng)域，然而目前并沒有某一個方法可以適用于所有應(yīng)用。
在關(guān)注文本嵌入模型中的關(guān)聯(lián)時，要確定它們對下游應(yīng)用程序影響的最明確方法是直接檢查這些應(yīng)用程序。我們現(xiàn)在來看看對兩個示例應(yīng)用程序的簡要分析：一個情感分析器（Sentiment Analyzer）和一個消息應(yīng)用程序（Messaging App）。
WEAT 分?jǐn)?shù)測量詞向量的屬性，但是他們沒有告訴我們這些向量如何影響下游任務(wù)。在這里，我們演示將姓名映射到幾個常見向量后對于影評情感分析的任務(wù)的影響。
Tia 正在訓(xùn)練一個電影評論情感分類器。她沒有太多的影評樣本，所以她利用預(yù)訓(xùn)練文本嵌入模型，將文本映射到可以使分類任務(wù)更容易識別的表示中。
讓我們使用 IMDB 電影評論數(shù)據(jù)集來模擬 Tia 的場景，對 1000 個正面評論和 1000 個負(fù)面評論進(jìn)行二次抽樣。我們將使用預(yù)先訓(xùn)練的詞向量來將 IMDB 評論的文本映射到低維矢量空間，并將這些矢量用作線性分類器中的特征。我們將考慮一些不同的詞向量模型，并分別訓(xùn)練一個線性情感分類器。
我們將使用 ROC 曲線下的面積（AUC）度量來評估情感分類器的質(zhì)量。
這里是使用每個向量模型提取特征的電影情感分類的AUC分?jǐn)?shù)：
起初，Tia 似乎很容易做出決定。她應(yīng)該使用得分最高的向量模型用在分類器中，對吧？
但是，讓我們考慮一些可能影響這一決定的其他因素。這些詞向量模型是在 Tia 可能無法獲取的大型數(shù)據(jù)集上訓(xùn)練得到的。她想評估這些數(shù)據(jù)集中固有的偏差是否會影響她的分類行為。
通過查看各種向量模型的 WEAT 分?jǐn)?shù)，Tia 注意到一些詞向量模型認(rèn)為某些名稱比其他名稱更具有「愉快」的含義。這聽起來并不像電影情感分析器的一個很好的屬性。Tia 認(rèn)為名稱不應(yīng)該影響電影評論的預(yù)測情感，這似乎是不對的。她決定檢查這種「愉悅偏差」是否影響她的分類任務(wù)。
她首先通過構(gòu)建一些測試樣例來確定是否可以檢測到明顯的偏差。
在這種情況下，她從她的測試集中取得 100 條最短的評論，并附上「評論來自 _______」這幾個字，其中空白處填入一些人的姓名。使用 Caliskan 等人提出的「非裔美國人」和「歐洲美國人」名單，以及來自美國社會保障局的普通男性和女性的名字，她研究了平均情感分?jǐn)?shù)的差異。
上面的小提琴圖顯示了 Tia 可能看到的平均情感分?jǐn)?shù)的差異分布，通過從原始 IMDB 訓(xùn)練集中抽取 1000 個正面和 1000 個負(fù)面評論的子樣本進(jìn)行模擬。我們展示了 5 種詞向量模型的結(jié)果以及沒有使用詞向量的模型的結(jié)果。
檢查沒有詞向量的情感差異很方便，它可以確認(rèn)與名稱相關(guān)的情感不是來自小型IMDB監(jiān)督數(shù)據(jù)集，而是由預(yù)訓(xùn)練詞向量模型引入的。我們還可以看到，不同的詞向量會導(dǎo)致不同的系統(tǒng)輸出，這表明詞向量的選擇是 Tia 情感分類器將會產(chǎn)生的關(guān)聯(lián)的關(guān)鍵因素。可以看到，只是在最后附加了不同性別的名字，都導(dǎo)致某些模型的情感分類的結(jié)果出現(xiàn)了變化。
Tia 接下來就需要非常仔細(xì)地考慮如何使用這個分類器。也許她的目標(biāo)只是選擇一些好的電影供自己觀看。在這種情況下，這可能不是什么大問題。出現(xiàn)在列表頂部的電影可能是非常喜歡的電影。但是，如果她用她的模型來評估演員的平均影評等級，以此為依據(jù)雇傭演員并支付演員薪酬呢？這聽起來就有大問題了。
Tia 可能不限于此處所提供的選擇。她可能會考慮其他方法，如將所有名稱映射到單個詞中；使用旨在減輕數(shù)據(jù)集中名稱敏感度的數(shù)據(jù)重新訓(xùn)練詞向量；或使用多個向量模型并處理模型不一致的情況。
這里沒有一個「正確」的答案。這些決策中的很多都是高度依賴于上下文的，并取決于 Tia 的預(yù)期用途。對于 Tia 來說，在選擇訓(xùn)練文本分類模型的特征提取方法時需要考慮的指標(biāo)遠(yuǎn)不止分類準(zhǔn)確率一項。
Tamera 正在構(gòu)建一個消息應(yīng)用程序，并且她希望使用文本嵌入模型在用戶收到消息時給予他們建議的回復(fù)。她已經(jīng)建立了一個系統(tǒng)來為給定的消息生成一組候選回復(fù)，并且她希望使用文本嵌入模型對這些候選人進(jìn)行評分。具體而言，她將通過模型運(yùn)行輸入消息以獲取消息的文本嵌入向量，對每個候選響應(yīng)進(jìn)行相同的處理，然后使用嵌入向量和消息嵌入向量之間的余弦相似度對每個候選者進(jìn)行評分。
雖然模型的偏差在許多方面可能對這些建議答復(fù)起作用，但她決定專注于一個狹窄的方面：職業(yè)與二元性別之間的關(guān)聯(lián)。在這種情況下，舉一個關(guān)于偏差的例子，如果傳入的消息是「工程師是否完成了項目？」模型給回答「是的，他做了」的評分高于「是的，她做了」，就體現(xiàn)出了模型的偏差。這些關(guān)聯(lián)是從用于訓(xùn)練詞向量的數(shù)據(jù)中學(xué)習(xí)的，雖然它們對于性別的反應(yīng)程度很可能就是訓(xùn)練數(shù)據(jù)中的實際反應(yīng)（以及在現(xiàn)實世界中這些職業(yè)中存在性別不平衡的程度），但當(dāng)系統(tǒng)簡單地假定工程師是男性時，對用戶來說可能是一種負(fù)面的體驗。
為了衡量這種形式的偏差，她創(chuàng)建了提示和回復(fù)的模板列表。這些模板包括諸如「是你的表弟嗎？」和「今天是在這里嗎？」等問題，答案模板是「是，他/她是的」。對于一個給定的職業(yè)和問題（例如，「水管工今天會在場嗎？」），模型的偏差分?jǐn)?shù)是模型對女性性別反應(yīng)（「是，她會」）的分?jǐn)?shù)與男性（「是的，他會的」）的分?jǐn)?shù)的差異：
對于整個給定的職業(yè)，模型的偏差分?jǐn)?shù)是該職業(yè)所有問題/答案模板的偏差分?jǐn)?shù)的總和。
通過使用 Universal Sentence Encoder 嵌入模型分析，Tamera 可以運(yùn)行 200 個職業(yè)。表 2 顯示了最高女性偏差分?jǐn)?shù)（左）和最高男性偏差分?jǐn)?shù)（右）的職業(yè)：
「女服務(wù)員」問題更有可能產(chǎn)生包含「她」的回應(yīng)，但 Tamera 并沒有為此感到困擾，但許多其他回應(yīng)的偏差阻攔了她。和 Tia 一樣，Tamera 可以做幾個選擇。她可以簡單地接受這些偏差，不做任何事情，但起碼，如果用戶抱怨，她不會措手不及。她可以在用戶界面上進(jìn)行更改，例如通過提供兩個性別的響應(yīng)而不是一個，當(dāng)輸入消息中需要含有性別代名詞的時候（例如，「她今天會在那里嗎？」）。
但她也可能不想這樣做。她可以嘗試使用偏差減輕技術(shù)重新訓(xùn)練詞嵌入模型，并檢查這會如何影響下游任務(wù)的表現(xiàn)，或者她可能會在訓(xùn)練她的分類器時直接減輕分類器中的偏差（例如，http://research.google.com/pubs/pub46743.html，https://arxiv.org/abs/1707.00075，或者 https://arxiv.org/abs/1801.07593 ）。無論她決定做什么，重要的是 Tamera 都會進(jìn)行這種類型的分析，以便知道她的產(chǎn)品的功能，并且可以做出明智的決定。
為了更好地理解 ML 模型可能產(chǎn)生的潛在問題，模型創(chuàng)建者和使用這些模型的從業(yè)者應(yīng)該檢查模型可能包含的不良偏差。我們已經(jīng)展示了一些工具來揭示這些模型中特定形式的刻板印象偏差，但這當(dāng)然不構(gòu)成所有形式的偏差。即使是這里討論的 WEAT 分析的范圍也很窄，所以不應(yīng)該被解釋為在嵌入模型中抓取隱式關(guān)聯(lián)的完整故事。例如，針對于消除 WEAT 類別中的 50 個名稱的負(fù)相關(guān)而明確訓(xùn)練的模型可能不會減輕其他名稱或類別的負(fù)相關(guān)，并且由此產(chǎn)生的低 WEAT 得分可能給出錯覺，即整體上的負(fù)關(guān)聯(lián)問題已經(jīng)得到了很好的解決。這些評估更好地告訴我們現(xiàn)有模型的行為方式，并作為一個起點讓我們了解不需要的偏差是如何影響我們創(chuàng)造和使用的技術(shù)的。我們正在繼續(xù)解決這個問題，因為我們相信這很重要，同時也邀請您加入這個話題。
致謝：我們要感謝 Lucy Vasserman，Eric Breck，Erica Greene 以及 TensorFlow Hub 和 Semantic Experiences 團(tuán)隊在這項工作上的合作。
via developers.googleblog.com，雷鋒網(wǎng) AI 科技評論編譯
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
