雷鋒網(wǎng) AI 科技評論按：ACM Fellow、微軟杰出科學家和管理總監(jiān) Jennifer T. Chayes 近日以 ACM 的名義發(fā)表了一篇文章，介紹了機器學習中的公平性問題和現(xiàn)階段研究人員們的應對方式。雷鋒網(wǎng) AI 科技評論編譯如下。

機器學習是計算機科學的一個分支，通過識別在數(shù)據(jù)中存在的模式來發(fā)展算法。舉例來說，我們的個人助手，如Cortana, Siri 和 Alexa， 會學習如何識別我們在說什么，并且運用與上百萬人的交流來學習如何最好地回應我們的問題。

當計算機變得越來越智能的時候，一些數(shù)據(jù)科學家會因為發(fā)現(xiàn)他們的算法變得有性別歧視或者種族主義的傾向，而困惑不已。但是這樣的現(xiàn)象是不該令人驚訝的，因為這些算法是經(jīng)過社會數(shù)據(jù)的訓練而成的，所用到的社會數(shù)據(jù)本身就是帶有社會偏見，在訓練時所用的評估指標會讓算法會放大這些偏見。

比如，如果一個人單純地訓練一款機器學習算法來篩選簡歷，并且目標是根據(jù)一份工作之前的雇傭記錄來挑選最合適的候選人，那么即使算法被清晰明確地指示去忽略“受保護的屬性”比如種族和性別，結果還是可能會帶有種族偏見或者性別偏見的。這是因為種族和性別是與其他“未受保護”信息比如姓名有關聯(lián)的，而這些“未受保護”的信息是算法可以使用的。在招聘過程中，我們知道招聘人員傾向于做出與算法一樣的選擇，他們不會被告知申請者的性別，但是他們會認出一個女性名字并不會面試她，因為之前被雇傭的多數(shù)都是男性。

總體來講，設計周到的算法時，即使訓練的數(shù)據(jù)是有偏見的，計算機仍舊可以變得比一般人類決策者更加的公平。就如不論我們的孩子見到什么人做哪些工作，我們都會教導他們“任何人都有潛力做任何工作”，我們也可以教會智能的算法如何去忽視訓練數(shù)據(jù)中的偏見。幸運的是，隨著計算機變得越來越聰明，教他們這樣的事情變得越來越簡單。計算機現(xiàn)在能夠理解什么是種族，什么是性別，并且社會數(shù)據(jù)也可以被用來自動地揭示和消除偏見。

目前的系統(tǒng)有時會表現(xiàn)出來非常強烈的偏見。當哈佛教授Latanya Sweeney將她自己的名字輸入搜索引擎的時候，她收到一則廣告寫著“Latanya Sweeney曾被逮捕過嗎？”并且會有償?shù)靥峁┍尘罢{(diào)查。背景調(diào)查的結果是Sweeney博士沒有被捕記錄，就像大多數(shù)杰出的科學家那樣。這則廣告明顯是非常不合理的，并且是對Sweeney博士帶有歧視性質(zhì)的。如果潛在的雇主把Sweeney博士的名字輸入搜索引擎中，他們也許會因為見到這則廣告而立刻就不再考慮雇傭她。此外，Sweeney博士證明了，如果搜索比如Latanya這樣更像黑人的名字，你會有比搜索不具種族特征的名字時更大的機會被展示這則“被逮捕過嗎？”的廣告。

好消息是，我們有很多的計算機科學家都非常關心機器學習算法的公平性，并且已經(jīng)開發(fā)出了方法來讓這些算法相比人類來的更不帶有偏見。幾年前，一組來自微軟研究員和波士頓大學的研究者發(fā)現(xiàn)了在許多搜索引擎中天生就存在的性別歧視現(xiàn)象。當被要求去完成以下句子時，“男人會是電腦程序員而女人會是_”，這個工具會產(chǎn)生“家庭主婦”這樣的答案。我們的團隊讓這個工具變得不那么帶有偏見，從而使它產(chǎn)出性別中立的答案，這讓我們的算法比人類來的更加公平。

一群來自微軟研究員和哈佛大學的研究者最近設計了一款智能算法，這款算法在學習的中間階段會直接讀取“受保護的屬性”比如種族或者性別，在這樣的情況下，這款算法有時得出的決定會比人類判斷具有更少的偏見。假想我們要為我所在的組織招聘一位新的管理者。我們單純的招聘算法會學習我們過去優(yōu)秀的管理者，并且按照這些特征來推薦候選人。假設招聘算法發(fā)現(xiàn)我們的候選人曾經(jīng)有過雇傭歷史的中斷，而這樣的中斷與“成為好的管理者”是呈現(xiàn)負相關的。因為我所采集的數(shù)據(jù)中絕大多數(shù)管理者都是男性，這樣得出的結論就會是有雇傭歷史中斷的男性會在管理崗位上表現(xiàn)的更差。

現(xiàn)在讓我們考慮一下如果候選人是女性的情況。大多數(shù)女性都有可能會花幾年的時間離開工作環(huán)境，來撫養(yǎng)孩子，并且在這個過程中她們學會如何平衡非常多的、互相間有競爭關系的事情，這樣的經(jīng)歷會讓她們重返工作環(huán)境的時候成為更好的管理者。但是我們單純的招聘算法不會在數(shù)據(jù)中發(fā)現(xiàn)這樣關于女性的細節(jié)，因為在訓練數(shù)據(jù)中的男性數(shù)據(jù)在數(shù)量上占據(jù)著絕對的優(yōu)勢。我們的研究者發(fā)現(xiàn)如果他們將單純幼稚的算法分別使用在不同的、依照受保護屬性來劃分的群體上，算法在做決定的過程中會顯示出更少的偏見。在這樣的情況中，算法不會懲罰雇用歷史有中斷而又追求管理者工作的女性。目前的法律是不允許在做招聘決策的過程中使用性別這一信息的，但是這一最新的結果可以為未來的監(jiān)管提供新的視角。

一些人認為消除算法中的偏見是一件天生不能成功的事情，但是就像無可避免會牽涉到交通事故中的自動駕駛汽車那樣，第一步是要設計一套比人類更安全或者更不具偏見的系統(tǒng)。使用數(shù)學來定義“公平的”決策指標的過程也迫使我們需要精確地做出在公平和準確之間的取舍，這樣的取舍在以前有時會被決策者有意或無意的遮掩起來。這樣的過程讓我們重新審視什么叫做公平對待一切群體 —— 在一些情況下，要想公平對待不同的群體，學習他們不同的群體特征是必經(jīng)之路。

在計算機科學，法律，道德的交匯處正在形成一個全新的領域。它不僅會引領我們創(chuàng)造更公平的算法，并且會引領我們找到可以追蹤責任的算法，這樣的算法會使一個決定背后都有哪些影響因素變的更透明。我們有足夠的理由對這樣的算法抱有期待！

via huffingtonpost，雷鋒網(wǎng) AI 科技評論編譯

雷峰網(wǎng)版權文章，未經(jīng)授權禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。