0
雷鋒網(wǎng) AI 科技評論按:《哈佛商業(yè)評論》(Harvard Business Review)最近發(fā)表了一篇文章《不想被偏見左右?那就用算法!》作者是亞歷克斯·p·米勒。這篇文章談到,人類常常做出有帶有偏見性的決定(確實如此),所以他認為更多的地使用算法代替人類做決定是一個不錯的選擇。
「如何提高算法的公平性」是機器學習領域經(jīng)常談及的話題,但是直接認為算法的偏見就是比人類少,馬上引起了不少反對之聲。在雷鋒網(wǎng) AI 科技評論編譯的這篇文章里,Rachel Thomas 就逐項提出了自己的反駁。
他認為米勒忽略了許多重要的相關因素,包括:
算法實現(xiàn)的時候通常不會設計一個用來申訴的途徑(因為很多人誤以為算法是客觀、精準且不會出錯的)
在許多情況下,算法的使用范圍比人類的決策者規(guī)模大得多,所以會把完全相同的偏見也散播到同樣大的范圍中去(算法之所以吸引人,一部分原因就是因為使用成本低)
算法的使用者可能不理解概率或置信區(qū)間(即使已經(jīng)注明),并且在實際操作中可能也不愿去推翻算法的決定(即便這在技術上是完全可行的)
與其只關注這些不置可否的選擇,不如好好考慮如何將人類和機器的優(yōu)勢相結合,以便創(chuàng)造出更好的、偏見更少的決策工具。
米勒在《不想被偏見左右?那就用算法!》中承認,「算法革命」的批評者是在擔心「算法在運用時會不透明、帶有偏見,成為無法解釋的工具」,但他在自己的文章中卻只提到了「偏見」,而忽略了「不透明」和「無法解釋」(以及它們和「偏見」之間的化學反應)。
媒體總是通過人類和機器的對比來證明 AI 的進步,比如我們常會看到媒體報道,誰才是某項任務的冠軍。若考慮到大多數(shù)算法一般都是用來做什么的,這種比較其實并不科學,同時這樣評價人工智能也十分狹隘。因為在所有案例中,算法都有人類的參與,尤其是在搜集數(shù)據(jù)、制定決策、實現(xiàn)方式、解讀結果及因人而異的理解等方面,都會受到人類的左右。
多數(shù)從事人工智能醫(yī)學應用的研究人員,事實上并不打算用機器來完全取代醫(yī)生,他們只想利用人工智能來幫助醫(yī)生,使他們的決策能更加準確和效率,并提高醫(yī)療質量。要知道,史上最強的從來不是人與機器中的一個,而是并肩協(xié)作的人類與計算機組成的團隊。
米勒(正確地)認為,人類是非常有偏見的,然后他對比了幾種現(xiàn)有的并不完善的改善方案,想從里面挑出不那么糟糕的一種。但他卻并未提出實質性的思考:怎樣才能減少偏見,作出更好的決策呢?(也許是通過一些人與算法的結合?)我想,這個問題更值得考量。
算法在實際中運用范圍很廣,因而也會出現(xiàn)許多相同的偏見,但這種偏見卻會被認為是正確或客觀的結果。米勒的研究中,把它們拿來做了完全并列的對比,但他沒有注意到實際使用中的區(qū)別。
凱茜?奧尼爾(Cathy O 'Neil)在《摧毀數(shù)學的武器》(Weapons of Math Destruction)中寫道,她所批評的那類算法更傾向于禍及窮人。它們專注于處理相對便宜而又大規(guī)模的任務,當然,價格低是它的優(yōu)勢。相反,富人卻常傾向于選擇「人」。要知道,大公司或者貴族學校常傾向于內部推薦或面對面的面試,而不會像財力不足的企業(yè)那樣使用機器進行群體篩選。佼佼者往往會動用人力,而機器常被派遣去做相對初級的選拔。
凱茜在書中舉了的一個例子,有一位患雙相情感障礙的大學生,他想在暑假里找一份裝雜貨的工作。但由于他申請的每一家便利店都在使用相同的心理測量軟件來篩選求職者,因此他被每家便利店都拒絕了。這體現(xiàn)出算法的另一隱患:即使人類經(jīng)常有類似的偏見,但并不是所有的人都會做出相同的決定。如有可能,他也許能找到一個即使知道他的心理疾病仍然愿意雇傭他的老板。
許多人寧愿相信算法做出的決策,也不愿信任人類的決定。事實上,設計算法的研究者們可能對概率和置信區(qū)間有更多的了解,但真正使用這些算法的普通大眾卻不會注意到這一點。即使給了他們推翻算法決策的權力,在實際操作他們也不一定愿意這樣做。
很多關于算法偏見的案例,其實都缺乏有意義的解釋或申訴過程。這看似是算法決策過程中的特殊趨勢,也許是因為人們錯誤地認為算法就是客觀的,所以沒必要允許對結果進行申訴。與此同時,正如上文所說的那樣,算法決策系統(tǒng)本來是為了削減成本,如果要允許申訴的話,這功夫就白費了。
凱茜·奧尼爾(Cathy O’neil)還提到,有位深受學生、家長和校長喜愛的老師,卻莫名被算法開除了。她永遠都沒辦法知道算法是因為什么原因而開除她的!如果有一種相對快捷、簡單的方式來讓她提出申訴,甚至即便只是讓她確切知道這和什么因素有關,這故事就不會那么令人扼腕了。
有一個軟件在美國一半以上的州使用著,它會決定每個人接受的醫(yī)療保健服務應該有多少。根據(jù) The Verge 的調查,這種軟件在阿肯色州實施后,許多患有嚴重殘疾的人醫(yī)療保健驟然大幅削減。比如,一位患有腦癱的女性 Tammy Dobbs,她本需要一個幫助來幫助她完成起床,上廁所,吃東西等日常生活行為的人,但其受助時間卻突然減少到每周 20 個小時。沒有任何人能向她解釋為什么醫(yī)療保健服務一下子變少了。最終,經(jīng)過法院調查,是該軟件的算法錯了,因此對糖尿病或腦癱患者產(chǎn)生了負面影響。然而,像 Tammy Dobbs 類似的許多病人依然生活在恐懼之中,總擔心他們的福利又會莫名其妙地被削減。
這個算法的創(chuàng)造者是一位教授,他從這個軟件中賺取版稅。然而在被問及此事時,他卻認為這是別人的責任。我們可不能推卸自己的技術問題給別人。
2000 年代中期,科羅拉多州使用了一個單獨的計算機系統(tǒng)來確定公共福利,結果被發(fā)現(xiàn)有超過 900 條的錯誤規(guī)定被輸入到了里面,導致了一系列問題。比如,孕婦無法享受醫(yī)療補助。律師們通常很難發(fā)現(xiàn)這些漏洞,因為這些內部工作機制就像商業(yè)秘密一樣受保護。所以說,醫(yī)療保健、雇傭/解雇、刑事司法和其他會對人們的生活造成重要改變的領域的決策系統(tǒng),應該創(chuàng)建出一個快速且易于操作的申訴機制。這些令人不安的事故中,如果有一種簡單高效的方法來糾正算法的錯誤就好了。犯錯是難免的,正因如此,有一個嚴密的系統(tǒng)來發(fā)現(xiàn)和糾正這些錯誤是不可或缺的。
當我們談及人工智能時,我們需要考慮的是在這個現(xiàn)實世界中復雜的系統(tǒng)。《哈佛商業(yè)評論》中提到的研究將決策看成孤立的行為,并沒有考慮所處的環(huán)境。就好比判斷一個人是否會坦白其他罪行,這種決定并不能孤立做出,還需要結合復雜的法律系統(tǒng)。我們有必要了解研究領域所處的真實環(huán)境是如何交互運作的,同時別忽略那些可能會受到影響的人。
在美國的一些法庭上,對于審前保釋、量刑和假釋有關的判決,都使用了 COMPAS 算法。在 ProPublica 的一項中調查發(fā)現(xiàn),白人被告人的結果誤報率是 24%(這里的誤報是說,算法判斷這個人釋放時是「高?!沟?,但此后并沒有二進宮),而黑人被告的誤報率高達 45%。后來的研究發(fā)現(xiàn),COMPAS 事實上還不如一個簡單的線性方程精確。(你可以在普林斯頓計算機科學學院教授 Arvind Narayanan 的《21個關于公平的定義》視頻中看到更多關于公平的定義)。
克里斯蒂安?林(Kristian Lum)是一名統(tǒng)計學博士,也是人權數(shù)字分析集團(Human Rights Digital Analysis Group)的首席數(shù)據(jù)科學家。她與紐約法律援助協(xié)會(NY Legal Aid Society)的律師、前公設辯護人伊麗莎白?本德(Elizabeth Bender)以及一名被捕卻無辜的男子,特倫斯?威爾克森(Terrence Wilkerson)一起組織了一個研討會。他們一起分享了關于法律體系中所存在的漏洞的應對經(jīng)驗,為圍繞 COMPAS 的辯論提供了寶貴的討論素材。 Bender 分享說,紐約市的無力負擔保釋費用、也尚未經(jīng)過審判的被捕公民都會被關押監(jiān)禁在 Rikers Island,政府付費的公共辯護人去那里見他們的時候來回各需要兩個小時,但是實際面見需要法律服務的那個人的時間才不到 30 分鐘,假如守衛(wèi)們動作麻利、守時的話(但往往不是這樣的)。威爾克森詳細介紹了這些無力繳納保釋金的無辜被捕者有多么經(jīng)常同意簽署認罪協(xié)議,只為了他們可以更快地出獄。請不要忘了,這些都是發(fā)生在一群從來沒有上過法庭的人身上!這個圓桌討論是一個闡明現(xiàn)實世界與復雜系統(tǒng)之間關系的絕好例子,真希望更多的統(tǒng)計學家和計算機科學家能向他們學習。
由此可見,算法也許會加劇潛在的社會問題,比如法院和監(jiān)獄系統(tǒng)啦,跟種族偏見掛鉤的保釋金使用等等。所以我們有責任去了解算法可能會接觸的系統(tǒng)以及它們可能會遇到的問題。
大多數(shù)對算法偏見持反對意見的人,都只是在反對不公平的偏見,而不是反對算法本身。米勒說,這些批評算法不公平的人「很少問他們分析的系統(tǒng)在沒有算法的情況下運行得有多好」,這表明那些反對者可能并不知道人類帶有多少偏見,或就只是單純排斥算法。在我開始撰寫有關機器學習偏見的文章之前,我就花了大量時間研究和撰寫有關人類的偏見(特別是關于它們如何與科技行業(yè)相關的研究)。
當我在 twitter 上分享有關偏見的算法時,常會遭到反駁,認為我是反算法/科技人士。我有數(shù)學的博士學位,我曾做過量化分析師、數(shù)據(jù)科學家和軟件工程師,并創(chuàng)建了一個免費的在線計算線性代數(shù)課程,且與別人合作創(chuàng)立了 fast.ai ,它有面向程序員的深度學習實操課程,并通過算法的巧妙運用贏得了斯坦福大學的計算機視覺速度測試。
我不是唯一這樣的人:大多數(shù)直言不諱批評帶有偏見的算法的人,都有計算機科學、數(shù)學或統(tǒng)計學博士學位,且持續(xù)活躍在他們的領域里。只要看看 Faireness Accountability and Transparency Conference 的一些發(fā)言者就懂了。好比普林斯頓大學的計算機科學教授 Arvind Narayanan,他是 Kaggle 社交網(wǎng)絡挑戰(zhàn)賽的冠軍,也是一門流行的加密貨幣課程的老師,他依然公開反對過算法偏見。
所以,我希望有關偏見算法的討論不要總是拘泥在這種無足輕重的地方,而要深入問題的本質。
via fast.ai,雷鋒網(wǎng) AI 科技評論編譯
雷峰網(wǎng)原創(chuàng)文章,未經(jīng)授權禁止轉載。詳情見轉載須知。