1
本文作者: 章敏 | 2016-10-08 18:45 |
導(dǎo)讀:機器學(xué)習(xí)也會對數(shù)據(jù)產(chǎn)生“偏見”,從而導(dǎo)致錯誤的預(yù)測。我們該如何解決這一問題? Google 的新論文或許會揭曉答案。
隨著機器學(xué)習(xí)計算穩(wěn)步發(fā)展,越來越多人開始關(guān)注其對于社會的影響。機器學(xué)習(xí)的成功分支之一是監(jiān)督學(xué)習(xí)。有著足夠的歷史遺留數(shù)據(jù)和計算資源,學(xué)習(xí)算法預(yù)測未來事件的效果往往令人震驚。以一個假設(shè)為例,算法可以被用來高精度預(yù)測誰將會償還他們的貸款。貸款人可能會使用這樣的預(yù)測,以幫忙決定誰應(yīng)該首先得到貸款?;跈C器學(xué)習(xí)做出的決定,其實用性往往令人難以置信,并對我們的生活產(chǎn)生了深遠的影響。
然而,最好的預(yù)測也可能出錯。盡管機器學(xué)習(xí)致力于最小化出錯的可能性,但我們該如何防止某些組非均勻的共享這些錯誤?考慮到一些情況下,我們擁有的數(shù)據(jù)相對較少,且其特征不同于那些與預(yù)測任務(wù)相關(guān)的大眾方法。由于預(yù)測精度一般與訓(xùn)練的數(shù)據(jù)量息息相關(guān),一些組中的錯誤預(yù)測將會更加常見。例如,盡管他們償還了貸款,預(yù)測最后也可能將過多的個體標(biāo)記到“高違約風(fēng)險”組中。當(dāng)組中的成員恰逢一個敏感屬性,如種族、性別、殘疾、或宗教時,便會導(dǎo)致不公正的或有偏見的結(jié)果。
盡管需要,但機器學(xué)習(xí)中一直缺乏防止這類歧視,且基于敏感屬性的審核方法。有一種憨厚的方法是在做任何其他事之前,從數(shù)據(jù)中刪除一組敏感屬性。其想法是一種“無意識的不公平”,然而,由于存在“冗余編碼”也未能成功。即使在數(shù)據(jù)中不存在某個特定的屬性,其他屬性的組合也可以作為代理。
另一個普用方法被稱之為“統(tǒng)計平價”,其要求預(yù)測必須與敏感屬性無關(guān)。這直觀上聽起來是可取的,但結(jié)果本身往往與敏感屬性相關(guān)。例如,男性心臟衰竭的發(fā)病率通常比女性更高。當(dāng)預(yù)測這樣的醫(yī)療情況時,要阻斷預(yù)測結(jié)果和組成員之間的一切相關(guān)性,既不現(xiàn)實,也不可取。
考慮到這些概念上的困難,我們已經(jīng)提出了一種方法,用于測量和防止基于一系列敏感屬性所產(chǎn)生的歧視。我們還展示了如何調(diào)整一個給定的預(yù)測,需要的話,它可以更好的權(quán)衡分類精度和非歧視。
我們想法的核心是,符合理想結(jié)果的個體,應(yīng)因此而擁有平等正確分類的機會。在我們虛構(gòu)的貸款例子中,它意味著預(yù)測“低風(fēng)險”會實際償還貸款的人不應(yīng)該依賴于敏感屬性,如種族或性別。我們稱之為監(jiān)督學(xué)習(xí)中的機會均等。
實施時,我們的框架還改善了激勵機制,將差預(yù)測的成本從個人轉(zhuǎn)移到?jīng)Q策者,它可以通過投資提高預(yù)測精度以進行響應(yīng)。完美的預(yù)測總能滿足我們的概念,這表明建立更精準預(yù)測的中心目標(biāo)與避免歧視的目標(biāo)一致。
為了方便你自己探索博客文章中的想法,我們的 Big Picture 團隊創(chuàng)造了一個美妙的互動,以視覺化不同的概念和權(quán)衡。所以,你可以訪問他們的主頁了解更多相關(guān)資訊。一旦你瀏覽了演示,請查看論文的完整版,它由得克薩斯大學(xué)奧斯汀分校的 Eric Price 和芝加哥 TTI 的 Nati Srebro 共同完成。今年,我們會在巴塞羅召開的神經(jīng)信息處理系統(tǒng)(NIPS)會議上提交該論文。所以,如果你在附近的話,一定要停下腳步和我們中的一員聊聊天。
我們的論文決不是該重要且復(fù)雜話題的終點。它加入了一個正在進行的多學(xué)科研究對談話。我們希望可以鼓舞未來的研究,進一步討論可實現(xiàn)的方法,以權(quán)衡環(huán)境歧視和機器學(xué)習(xí),并開發(fā)有助于從業(yè)者應(yīng)對這些挑戰(zhàn)的工具。
推薦閱讀:
機器學(xué)習(xí)正在安全領(lǐng)域掛起一陣小旋風(fēng),但這里面有BUG
AI 熱潮注定會失?。繖C器學(xué)習(xí)智能才是王道?
雷峰網(wǎng)原創(chuàng)文章,未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。