1
| 本文作者： 奕欣 | 2017-09-12 16:18 |
via cheatsheet
近日，自然語言處理領(lǐng)域頂級國際會議 EMNLP 于丹麥哥本哈根舉行。EMNLP是自然語言處理三大頂級會議（ACL, EMNLP, NAACL）之一，已經(jīng)于前段時間公布了錄用論文及最佳論文名單。詳情可參見雷鋒網(wǎng)AI科技評論此前文章：
EMNLP 2017 最佳論文揭曉，「男人也愛逛商場」獲最佳長論文
其中，弗吉尼亞大學(xué)趙潔玉、王天露、Vincente Ordonez、張凱崴及華盛頓大學(xué)的 Mark Yatskar 憑借「Men Also Like Shopping: Reducing Gender Bias Amplification using Corpus-level Constraints」摘得最佳長論文。雷鋒網(wǎng)AI科技評論邀請了第一作者趙潔玉對此論文做了獨(dú)家解讀。
原文地址：https://arxiv.org/abs/1707.09457
概要
包含語言的視覺識別的任務(wù)，例如圖片標(biāo)題標(biāo)注，視覺問答系統(tǒng)以及視覺語義角色標(biāo)注任務(wù)已經(jīng)成為從圖片中獲取信息的不同途徑。這些任務(wù)通常依賴于大量的數(shù)據(jù)集、結(jié)構(gòu)化的預(yù)測方法以及深度學(xué)習(xí)提取圖片及語言中的豐富信息并以此解決這類問題。其中結(jié)構(gòu)化的預(yù)測方法允許機(jī)器學(xué)習(xí)模型用標(biāo)注之間的關(guān)系來提升預(yù)測的準(zhǔn)確度。例如視覺語義角色標(biāo)注任務(wù)（vSRL），需要對給定圖片中所展示的動詞以及與該動詞相關(guān)的幾個角色（工具，地點(diǎn)等）值進(jìn)行預(yù)測。例如在圖1中，考慮到鏟子是一種常見的烹飪工具，結(jié)構(gòu)化的預(yù)測模型會有很高的幾率將“tool”預(yù)測為“spatula”。
圖1
盡管結(jié)構(gòu)化的預(yù)測方法可以為我們提供較好的預(yù)測結(jié)果，但是這類方法會學(xué)習(xí)到數(shù)據(jù)集中存在的偏差 (bias)。如果不對模型進(jìn)行修改限定，此類模型會做出具有偏見的預(yù)測。例如在上圖中，模型從數(shù)據(jù)集中學(xué)習(xí)到女性與做飯之間的聯(lián)系，即便給定一張描述男性做飯的圖片（1.4），模型仍然會預(yù)測其為女性。這種將女性與做飯之間聯(lián)系更緊密的情況，反映了一種社會成見，對不同的性別均有不良的影響。
在本文中，我們針對男女兩個性別進(jìn)行研究，通過實驗發(fā)現(xiàn)，模型不僅會學(xué)習(xí)到數(shù)據(jù)集中的偏差，并且會放大該偏差。我們提出了RBA算法用于解決被放大的偏差，并且驗證了我們的算法可以有效的減少放大的bias同時幾乎保持了原有的模型性能。
我們針對以下兩個任務(wù)進(jìn)行研究：基于imSitu數(shù)據(jù)集的視覺語義角色標(biāo)注(vSRL)任務(wù)以及基于COCO數(shù)據(jù)集的多標(biāo)簽物體識別(MLC)任務(wù)。本文中將以vSRL（如上圖1）為例進(jìn)行解釋。該任務(wù)的目標(biāo)在于預(yù)測所給定圖片中的動詞，以及圖片中的其它角色。
在研究模型放大偏差的過程中，我們定義了測量集合以及屬性集合。前者包含了所能預(yù)測的動詞，比如cooking，washing等；后者則是一些人口特征，例如性別，年齡等。我們定義針對某動詞的性別比例，該比例取值[0,1]，越接近于1，表明該動詞越傾向于男性。
我們也定義了如何計算放大的bias。例如在訓(xùn)練集中，cooking的性別比例為33%，偏向于女性，但是在預(yù)測結(jié)果中，該比例變成了16%，表明這種bias被放大了17%。實驗結(jié)果如下圖2所示：不同的動詞對不同的性別表現(xiàn)出不同的偏見程度。例如上文所提到的cooking更傾向于女性，此外“購物”，“洗衣”等都更偏向于女性；“駕駛”，“射擊”以及“指導(dǎo)”則更偏向于男性。分析結(jié)果表明在vSRL任務(wù)中，所有動詞平均放大的bias率為5%，在MLC任務(wù)中，該值為3%。
圖2
對模型的修訂
驗證了模型對bias的放大作用后，我們提出了RBA算法對模型進(jìn)行修訂以減少所放大的偏差。我們先從訓(xùn)練集中獲取每個動詞的性別比例作為參考標(biāo)準(zhǔn)，并以此限制預(yù)測的結(jié)果，即每個動詞預(yù)測的性別比例應(yīng)當(dāng)在相應(yīng)參考標(biāo)準(zhǔn)的特定范圍內(nèi)。通過引入這些限制條件，我們將原有的模型變成一種具有限制的預(yù)測模型。
我們提出利用拉格朗日松弛方法對此類模型求解，該方法的優(yōu)點(diǎn)在于我們可以利用原有的預(yù)測方法而不必重新構(gòu)造算法訓(xùn)練模型，并且在所有限制條件均滿足的情況下，該算法可以保證達(dá)到最優(yōu)解。具體來說，我們對每一個限制條件設(shè)置了一個拉格朗日算子，循環(huán)地根據(jù)當(dāng)前的預(yù)測結(jié)果更新所有的算子，根據(jù)這些新的拉格朗日算子來更新預(yù)測算法所利用的因子值，從而可以得到新的預(yù)測結(jié)果。當(dāng)所有的限制條件均滿足或者已經(jīng)循環(huán)了足夠多的次數(shù)后，算法停止。
實驗結(jié)果（圖3）表明我們的算法可以有效的減少放大的偏見，并且不失原有模型的準(zhǔn)確度。具體來說，在vSRL中，我們減少了40.5%的平均放大bias值，在MLC任務(wù)中，該值為47.5%。在準(zhǔn)確度上，兩個模型幾乎保留了原有的準(zhǔn)確度，應(yīng)用算法前后只有0.1%的差距。 
Bias on vSRL without RBA Bias on vSRL with RBA
圖3 算法在vSRL數(shù)據(jù)集上的結(jié)果
雷峰網(wǎng)特約稿件，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
