雷鋒網(wǎng) AI 科技評(píng)論按：ACM Fellow、微軟杰出科學(xué)家和管理總監(jiān) Jennifer T. Chayes 近日以 ACM 的名義發(fā)表了一篇文章，介紹了機(jī)器學(xué)習(xí)中的公平性問(wèn)題和現(xiàn)階段研究人員們的應(yīng)對(duì)方式。雷鋒網(wǎng) AI 科技評(píng)論編譯如下。

機(jī)器學(xué)習(xí)是計(jì)算機(jī)科學(xué)的一個(gè)分支，通過(guò)識(shí)別在數(shù)據(jù)中存在的模式來(lái)發(fā)展算法。舉例來(lái)說(shuō)，我們的個(gè)人助手，如Cortana, Siri 和 Alexa， 會(huì)學(xué)習(xí)如何識(shí)別我們?cè)谡f(shuō)什么，并且運(yùn)用與上百萬(wàn)人的交流來(lái)學(xué)習(xí)如何最好地回應(yīng)我們的問(wèn)題。

當(dāng)計(jì)算機(jī)變得越來(lái)越智能的時(shí)候，一些數(shù)據(jù)科學(xué)家會(huì)因?yàn)榘l(fā)現(xiàn)他們的算法變得有性別歧視或者種族主義的傾向，而困惑不已。但是這樣的現(xiàn)象是不該令人驚訝的，因?yàn)檫@些算法是經(jīng)過(guò)社會(huì)數(shù)據(jù)的訓(xùn)練而成的，所用到的社會(huì)數(shù)據(jù)本身就是帶有社會(huì)偏見(jiàn)，在訓(xùn)練時(shí)所用的評(píng)估指標(biāo)會(huì)讓算法會(huì)放大這些偏見(jiàn)。

比如，如果一個(gè)人單純地訓(xùn)練一款機(jī)器學(xué)習(xí)算法來(lái)篩選簡(jiǎn)歷，并且目標(biāo)是根據(jù)一份工作之前的雇傭記錄來(lái)挑選最合適的候選人，那么即使算法被清晰明確地指示去忽略“受保護(hù)的屬性”比如種族和性別，結(jié)果還是可能會(huì)帶有種族偏見(jiàn)或者性別偏見(jiàn)的。這是因?yàn)榉N族和性別是與其他“未受保護(hù)”信息比如姓名有關(guān)聯(lián)的，而這些“未受保護(hù)”的信息是算法可以使用的。在招聘過(guò)程中，我們知道招聘人員傾向于做出與算法一樣的選擇，他們不會(huì)被告知申請(qǐng)者的性別，但是他們會(huì)認(rèn)出一個(gè)女性名字并不會(huì)面試她，因?yàn)橹氨还蛡虻亩鄶?shù)都是男性。

總體來(lái)講，設(shè)計(jì)周到的算法時(shí)，即使訓(xùn)練的數(shù)據(jù)是有偏見(jiàn)的，計(jì)算機(jī)仍舊可以變得比一般人類決策者更加的公平。就如不論我們的孩子見(jiàn)到什么人做哪些工作，我們都會(huì)教導(dǎo)他們“任何人都有潛力做任何工作”，我們也可以教會(huì)智能的算法如何去忽視訓(xùn)練數(shù)據(jù)中的偏見(jiàn)。幸運(yùn)的是，隨著計(jì)算機(jī)變得越來(lái)越聰明，教他們這樣的事情變得越來(lái)越簡(jiǎn)單。計(jì)算機(jī)現(xiàn)在能夠理解什么是種族，什么是性別，并且社會(huì)數(shù)據(jù)也可以被用來(lái)自動(dòng)地揭示和消除偏見(jiàn)。

目前的系統(tǒng)有時(shí)會(huì)表現(xiàn)出來(lái)非常強(qiáng)烈的偏見(jiàn)。當(dāng)哈佛教授Latanya Sweeney將她自己的名字輸入搜索引擎的時(shí)候，她收到一則廣告寫著“Latanya Sweeney曾被逮捕過(guò)嗎？”并且會(huì)有償?shù)靥峁┍尘罢{(diào)查。背景調(diào)查的結(jié)果是Sweeney博士沒(méi)有被捕記錄，就像大多數(shù)杰出的科學(xué)家那樣。這則廣告明顯是非常不合理的，并且是對(duì)Sweeney博士帶有歧視性質(zhì)的。如果潛在的雇主把Sweeney博士的名字輸入搜索引擎中，他們也許會(huì)因?yàn)橐?jiàn)到這則廣告而立刻就不再考慮雇傭她。此外，Sweeney博士證明了，如果搜索比如Latanya這樣更像黑人的名字，你會(huì)有比搜索不具種族特征的名字時(shí)更大的機(jī)會(huì)被展示這則“被逮捕過(guò)嗎？”的廣告。

好消息是，我們有很多的計(jì)算機(jī)科學(xué)家都非常關(guān)心機(jī)器學(xué)習(xí)算法的公平性，并且已經(jīng)開(kāi)發(fā)出了方法來(lái)讓這些算法相比人類來(lái)的更不帶有偏見(jiàn)。幾年前，一組來(lái)自微軟研究員和波士頓大學(xué)的研究者發(fā)現(xiàn)了在許多搜索引擎中天生就存在的性別歧視現(xiàn)象。當(dāng)被要求去完成以下句子時(shí)，“男人會(huì)是電腦程序員而女人會(huì)是_”，這個(gè)工具會(huì)產(chǎn)生“家庭主婦”這樣的答案。我們的團(tuán)隊(duì)讓這個(gè)工具變得不那么帶有偏見(jiàn)，從而使它產(chǎn)出性別中立的答案，這讓我們的算法比人類來(lái)的更加公平。

一群來(lái)自微軟研究員和哈佛大學(xué)的研究者最近設(shè)計(jì)了一款智能算法，這款算法在學(xué)習(xí)的中間階段會(huì)直接讀取“受保護(hù)的屬性”比如種族或者性別，在這樣的情況下，這款算法有時(shí)得出的決定會(huì)比人類判斷具有更少的偏見(jiàn)。假想我們要為我所在的組織招聘一位新的管理者。我們單純的招聘算法會(huì)學(xué)習(xí)我們過(guò)去優(yōu)秀的管理者，并且按照這些特征來(lái)推薦候選人。假設(shè)招聘算法發(fā)現(xiàn)我們的候選人曾經(jīng)有過(guò)雇傭歷史的中斷，而這樣的中斷與“成為好的管理者”是呈現(xiàn)負(fù)相關(guān)的。因?yàn)槲宜杉臄?shù)據(jù)中絕大多數(shù)管理者都是男性，這樣得出的結(jié)論就會(huì)是有雇傭歷史中斷的男性會(huì)在管理崗位上表現(xiàn)的更差。

現(xiàn)在讓我們考慮一下如果候選人是女性的情況。大多數(shù)女性都有可能會(huì)花幾年的時(shí)間離開(kāi)工作環(huán)境，來(lái)?yè)狃B(yǎng)孩子，并且在這個(gè)過(guò)程中她們學(xué)會(huì)如何平衡非常多的、互相間有競(jìng)爭(zhēng)關(guān)系的事情，這樣的經(jīng)歷會(huì)讓她們重返工作環(huán)境的時(shí)候成為更好的管理者。但是我們單純的招聘算法不會(huì)在數(shù)據(jù)中發(fā)現(xiàn)這樣關(guān)于女性的細(xì)節(jié)，因?yàn)樵谟?xùn)練數(shù)據(jù)中的男性數(shù)據(jù)在數(shù)量上占據(jù)著絕對(duì)的優(yōu)勢(shì)。我們的研究者發(fā)現(xiàn)如果他們將單純幼稚的算法分別使用在不同的、依照受保護(hù)屬性來(lái)劃分的群體上，算法在做決定的過(guò)程中會(huì)顯示出更少的偏見(jiàn)。在這樣的情況中，算法不會(huì)懲罰雇用歷史有中斷而又追求管理者工作的女性。目前的法律是不允許在做招聘決策的過(guò)程中使用性別這一信息的，但是這一最新的結(jié)果可以為未來(lái)的監(jiān)管提供新的視角。

一些人認(rèn)為消除算法中的偏見(jiàn)是一件天生不能成功的事情，但是就像無(wú)可避免會(huì)牽涉到交通事故中的自動(dòng)駕駛汽車那樣，第一步是要設(shè)計(jì)一套比人類更安全或者更不具偏見(jiàn)的系統(tǒng)。使用數(shù)學(xué)來(lái)定義“公平的”決策指標(biāo)的過(guò)程也迫使我們需要精確地做出在公平和準(zhǔn)確之間的取舍，這樣的取舍在以前有時(shí)會(huì)被決策者有意或無(wú)意的遮掩起來(lái)。這樣的過(guò)程讓我們重新審視什么叫做公平對(duì)待一切群體 —— 在一些情況下，要想公平對(duì)待不同的群體，學(xué)習(xí)他們不同的群體特征是必經(jīng)之路。

在計(jì)算機(jī)科學(xué)，法律，道德的交匯處正在形成一個(gè)全新的領(lǐng)域。它不僅會(huì)引領(lǐng)我們創(chuàng)造更公平的算法，并且會(huì)引領(lǐng)我們找到可以追蹤責(zé)任的算法，這樣的算法會(huì)使一個(gè)決定背后都有哪些影響因素變的更透明。我們有足夠的理由對(duì)這樣的算法抱有期待！

via huffingtonpost，雷鋒網(wǎng) AI 科技評(píng)論編譯

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。