編者按：當(dāng)我們都在關(guān)注人工智能對(duì)生活帶來(lái)的積極影響時(shí)，另一種擔(dān)憂的聲音正在產(chǎn)生：自主智能系統(tǒng)在許多社會(huì)機(jī)構(gòu)早已司空見(jiàn)慣，但我們卻無(wú)法找到真正能評(píng)估其持續(xù)性影響的方法。本文提出了目前業(yè)界解決 AI 系統(tǒng)的社會(huì)和倫理學(xué)影響的三種方法，并提出了從社會(huì)系統(tǒng)分析入手的第四種方法，指出要關(guān)注人工智能在社會(huì)層面的意義。文章首發(fā)于Nature，作者 Kate Crawford 和Ryan Calo，雷鋒網(wǎng)作者老呂及何忞編譯，未經(jīng)許可不得轉(zhuǎn)載。

芝加哥警察利用算法推測(cè)涉及槍案的嫌疑人，

但事實(shí)證明這種方法效果不明顯

Sanchez/Chicago Tribune/TNS/Getty

白宮于本周發(fā)布了一份報(bào)告，闡述了它們對(duì)未來(lái)人工智能（AI）的看法。這份報(bào)告由來(lái)自西雅圖、匹茲堡、華盛頓和紐約的四個(gè)研究小組耗費(fèi)三個(gè)月時(shí)間撰寫而成。

在這份報(bào)告中，許多來(lái)自不同領(lǐng)域的世界頂尖思想家討論了 AI 如何改變我們的生活方式，其中包含大量的例子，生動(dòng)地解釋了機(jī)器學(xué)習(xí)和其他 AI 技術(shù)在解決生活中復(fù)雜問(wèn)題方面的巨大作用，涉及從皮膚的變化預(yù)測(cè)癌癥，到減少數(shù)據(jù)中心的能源消耗等多個(gè)方面。

此外，報(bào)告還強(qiáng)調(diào)了眼下我們?cè)?AI 研究上存在的主要盲點(diǎn)：自主智能系統(tǒng)在許多社會(huì)機(jī)構(gòu)早已司空見(jiàn)慣，但我們卻無(wú)法找到真正能評(píng)估其持續(xù)性影響的方法。

最近幾年，人類在人工智能領(lǐng)域取得了巨大的進(jìn)步。相應(yīng)的，來(lái)自多個(gè)學(xué)科的設(shè)計(jì)師和研究人員需要對(duì) AI進(jìn)行系統(tǒng)性的分析，他們必須評(píng)估出技術(shù)對(duì)社會(huì)、文化以及政治環(huán)境的影響。

舉例來(lái)說(shuō)，我們需要研究出 AiCure 應(yīng)用是如何改變醫(yī)患關(guān)系的，這款應(yīng)用可以追蹤病人是否堅(jiān)持吃藥并將數(shù)據(jù)傳給醫(yī)師。同時(shí)，此類技術(shù)的使用還能通過(guò)對(duì)歷史數(shù)據(jù)的分析來(lái)預(yù)測(cè)犯罪高發(fā)地帶，減少警方對(duì)邊緣社區(qū)的警力濫用。此外，我們還需找出為何出手闊綽的投資者與低收入的借貸者總是會(huì)被區(qū)別對(duì)待。

老生長(zhǎng)談的“奇點(diǎn)降臨”

“人們總是擔(dān)心電腦變聰明后會(huì)接管世界，但現(xiàn)實(shí)問(wèn)題是它們?cè)谙喈?dāng)愚蠢時(shí)已然統(tǒng)治了全世界?！边@是計(jì)算機(jī)科學(xué)家 Pedro Domingos 在其 2015 年的著作《The Master Algorithm》中給出的經(jīng)典論述。許多研發(fā)人員也認(rèn)為 AI 的發(fā)展正處于初級(jí)階段，技術(shù)奇點(diǎn)還未到來(lái)，他們正推動(dòng) AI 系統(tǒng)（相對(duì)未經(jīng)測(cè)試的）進(jìn)入各個(gè)社會(huì)機(jī)構(gòu)。

正是由于 AI 研發(fā)人員的不斷努力，此類系統(tǒng)才成了醫(yī)師們指導(dǎo)診斷的利器。此外，法律機(jī)構(gòu)也利用 AI 給客戶提建議，幫助他們打贏官司。金融機(jī)構(gòu)則可利用 AI 找出貸款放給誰(shuí)最安全，而雇主則能通過(guò) AI 在應(yīng)聘者中找出綜合實(shí)力最強(qiáng)的人。

分析師認(rèn)為未來(lái) AI 系統(tǒng)的適用范圍將得到大幅擴(kuò)展，其經(jīng)濟(jì)價(jià)值更是高達(dá)數(shù)十億美元。而 IBM CEO 更是看好該技術(shù)的發(fā)展，她認(rèn)為未來(lái)十年 AI 系統(tǒng)中蘊(yùn)含著價(jià)值 2 萬(wàn)億美元的新機(jī)遇。當(dāng)然，這一切都只是初步預(yù)測(cè)，畢竟我們對(duì)如何衡量 AI 的價(jià)值還沒(méi)有形成共識(shí)。

CB Insights 的研究顯示，AI領(lǐng)域的投資呈逐年上升趨勢(shì)

CB Insights

許多人認(rèn)為，AI 在做預(yù)測(cè)和指導(dǎo)性決策時(shí)沒(méi)有人類明智，但工程師卻認(rèn)為 AI 能找出人類在決策時(shí)存在的偏見(jiàn)和傲慢。不過(guò)，它也不是萬(wàn)能良藥。至少在當(dāng)下，AI 的缺點(diǎn)依然會(huì)讓它在種族、性別和社會(huì)經(jīng)濟(jì)背景方面犯錯(cuò)，而這些因素本就是人類做決策時(shí)的軟肋。

2013 年的一項(xiàng)研究顯示，在谷歌搜索典型的黑人名字，搜索結(jié)果中出現(xiàn)犯罪記錄搜索的可能性比白人名字高 25%。在另一例與種族有關(guān)的案例中，非營(yíng)利機(jī)構(gòu) ProPublica 發(fā)現(xiàn)，法庭普遍使用的算法也存在種族歧視，在它眼中，黑人罪犯再次入獄的幾率是白人的兩倍。

三種工具

如何避免這種影響呢？目前，解決 AI 系統(tǒng)的社會(huì)和倫理學(xué)影響的有三種主流模式：服從模式、價(jià)值觀設(shè)計(jì)、思維實(shí)驗(yàn)。這三者都很有意義，但是不論是單獨(dú)為人們所用，或是三者齊頭并進(jìn)，都不能有效解決這個(gè)問(wèn)題。

部署和執(zhí)行方法（deploy and comply）

通常情況下，企業(yè)或者其他組織采取基本的步驟，堅(jiān)持一系列行業(yè)最佳實(shí)踐或是法律義務(wù)，來(lái)躲避政府或媒體的監(jiān)督。這種方法可以得到短期利益。比如說(shuō)，2015 年谷歌系統(tǒng)錯(cuò)誤地將一對(duì)美籍非裔夫妻識(shí)別為大猩猩后，及時(shí)調(diào)整了他的圖像識(shí)別算法。公司還提出了想法，將一種“紅色按鈕”引入其 AI 系統(tǒng)中，當(dāng)工程師發(fā)現(xiàn)系統(tǒng)不對(duì)勁時(shí)，可以按下按鈕防止失控。

同樣地，F(xiàn)acebook 因?yàn)閷⑦@張?jiān)侥闲∨?nbsp;Kim Phúc 逃離燃燒彈襲擊的照片認(rèn)定為裸體兒童照片并予以屏蔽，遭到了公眾的強(qiáng)烈譴責(zé)。而就在上個(gè)月，包括微軟、亞馬遜和 IBM 在內(nèi)的幾家領(lǐng)先的 AI 公司，達(dá)成合作伙伴關(guān)系，意圖提升公眾的理解，并以此設(shè)立一些公共的標(biāo)準(zhǔn)。

“部署和執(zhí)行”方法盡管可以是活躍的點(diǎn)對(duì)點(diǎn)模式，但如果他們?nèi)鄙俪渥愕呐新曇艉酮?dú)立的觀點(diǎn)貢獻(xiàn)者，那么該行業(yè)的努力仍舊存在進(jìn)步空間。新的 AI 合作伙伴關(guān)系正在邀請(qǐng)倫理學(xué)家好社會(huì)組織者們的參與。但是人們的關(guān)注點(diǎn)依然在于，企業(yè)是否可以相對(duì)自由地在公眾中測(cè)試他們的 AI 系統(tǒng)，而無(wú)需持續(xù)地研究短期或中期的影響。

價(jià)值觀設(shè)計(jì)方法（Values in design）

多虧了技術(shù)中倫理道德方面設(shè)計(jì)的先驅(qū)們，包括極有影響力的學(xué)者 Batya Friedman 和 Helen Nissenbaum 的貢獻(xiàn)，現(xiàn)在的研究者和企業(yè)都執(zhí)行了諸如價(jià)值敏感設(shè)計(jì)或“有責(zé)任的創(chuàng)新”的方法來(lái)定義可能涉及的利益相關(guān)者，并對(duì)他們的價(jià)值觀進(jìn)行界定。焦點(diǎn)小組或其他研究手段被用來(lái)建立人們關(guān)于個(gè)人隱私、環(huán)境問(wèn)題等等的觀點(diǎn)。無(wú)論設(shè)計(jì)的是 App 還是無(wú)人車，這些未來(lái)用戶的價(jià)值觀都應(yīng)滲透進(jìn)技術(shù)的設(shè)計(jì)中。AI 系統(tǒng)的開(kāi)發(fā)者們應(yīng)該對(duì)這些方法加以重視。

不過(guò)，這些工具常常有一個(gè)前提假設(shè)：這個(gè)系統(tǒng)一定會(huì)被設(shè)計(jì)出來(lái)。他們無(wú)法幫設(shè)計(jì)者、政策制定者或者整個(gè)社會(huì)回答，某個(gè)系統(tǒng)是否應(yīng)該被設(shè)計(jì)出來(lái)？某個(gè)基礎(chǔ)設(shè)施的系統(tǒng)原型是否太過(guò)于初級(jí)、不夠可靠而無(wú)法作為基礎(chǔ)設(shè)施（比如醫(yī)院系統(tǒng)或法庭系統(tǒng)）？

 

哮喘患者被一個(gè)預(yù)測(cè)肺炎的 AI 系統(tǒng)錯(cuò)誤地評(píng)為低風(fēng)險(xiǎn)等級(jí)

Craig F. Walker/Denver Post/Getty

思維實(shí)驗(yàn)方法（Thought experiments）

過(guò)去的幾年中，各種假設(shè)情境涌現(xiàn)，成為了公眾討論 AI 社會(huì)影響的爭(zhēng)論熱點(diǎn)。

最熱門的討論是關(guān)于人類設(shè)計(jì)出的高級(jí)智能系統(tǒng)最終統(tǒng)治或毀滅了人類自己的可能性。另外，還有一個(gè)從1967 年就開(kāi)始的相關(guān)思維實(shí)驗(yàn)——電車難題也獲得了新生，這個(gè)場(chǎng)景提出了關(guān)于責(zé)任和罪行的問(wèn)題。在該問(wèn)題中，一個(gè)人既可以讓一列正在行駛的電車碾壓過(guò)五個(gè)正在工作的人，也可以是電車變道沖向另一條只有一個(gè)人的路。很多評(píng)論家把這個(gè)假設(shè)的場(chǎng)景放在自動(dòng)駕駛汽車中考慮，他們認(rèn)為汽車應(yīng)該自動(dòng)做出包含有道德要求的選擇。

與機(jī)器人末日相比，無(wú)人車發(fā)生“謀殺選擇”的可能性提供了一種更為狹窄的道德推理框架。電車問(wèn)題為我們解決更廣泛的社會(huì)問(wèn)題提供了一些方便的指導(dǎo)：比如大量對(duì)自動(dòng)汽車而非對(duì)公共交通的投資的價(jià)值問(wèn)題；在無(wú)人車被允許上路前，安全性能應(yīng)該有多高；（我們應(yīng)該用什么工具來(lái)定義安全性？）、無(wú)人車在交通擁堵、環(huán)境和就業(yè)問(wèn)題上的潛在影響有哪些等問(wèn)題。

社會(huì)系統(tǒng)分析方法(Social-systems analysis)

我們相信誠(chéng)然還需要第四種方法。一種實(shí)踐的、可以廣泛應(yīng)用的社會(huì)系統(tǒng)分析法，它可以考慮到 AI 系統(tǒng)對(duì)所有方面的可能影響，并且能同時(shí)包括在每一個(gè)階段中的社會(huì)影響，包括概念階段、設(shè)計(jì)階段、部署階段和調(diào)控階段。

在第一階段，政府部門和行業(yè)等大范圍的研究者們需要開(kāi)始調(diào)查大眾的信息、財(cái)富和基本服務(wù)的獲取渠道與 AI 系統(tǒng)的訓(xùn)練數(shù)據(jù)之間有什么區(qū)別，如何匹配。

用芝加哥、伊利諾斯的“熱度地圖”（heat maps）識(shí)別那些人更容易卷入槍擊事件的算法為例，上個(gè)月發(fā)表的一份研究表明，這種地圖是無(wú)效的，他們擴(kuò)大了特定人群的可能性，吸引了更多警力，但是卻沒(méi)有減少當(dāng)?shù)氐姆缸锫省?/p>

社會(huì)系統(tǒng)方法可以在“熱度地圖”中考慮到當(dāng)?shù)厣鐣?huì)和警局的歷史數(shù)據(jù)。這可能要求對(duì)社區(qū)成員的問(wèn)詢和對(duì)警察針對(duì)社區(qū)治安積極或消極反饋的權(quán)衡。這也可能意味著要將監(jiān)督委員會(huì)和法律機(jī)構(gòu)的發(fā)現(xiàn)考慮進(jìn)去。這種社會(huì)系統(tǒng)分析法還會(huì)要求系統(tǒng)的風(fēng)險(xiǎn)和報(bào)酬要保持平衡。所以在這個(gè)案例中，警方使用相似的技術(shù)來(lái)識(shí)別官員們誰(shuí)可能有不正當(dāng)行為（比如暴力）。

在另一個(gè)例子中，2015 年的一份研究表明，應(yīng)用于預(yù)測(cè)醫(yī)院的哪個(gè)病人會(huì)得肺炎的機(jī)器學(xué)習(xí)技術(shù)在很多情形中都運(yùn)行良好。但是它卻犯了一個(gè)嚴(yán)重的錯(cuò)誤：盡管一些哮喘病人情況危急，它仍然指導(dǎo)醫(yī)生將這些病人送回了家。因?yàn)橥ǔａt(yī)院會(huì)自動(dòng)將哮喘病人送去重癥監(jiān)護(hù)病房，所以在系統(tǒng)被訓(xùn)練的數(shù)據(jù)記錄中，這些病人很少出現(xiàn)在“需要后續(xù)護(hù)理”的分類里。使用社會(huì)系統(tǒng)分析法，我們就需要將醫(yī)院治療、保險(xiǎn)政策等隱形因素考慮其中，適當(dāng)?shù)卣{(diào)整患者的病例記錄。

社會(huì)系統(tǒng)分析法可以讓系統(tǒng)回答一些提問(wèn)：比如自身是如何運(yùn)轉(zhuǎn)的？金融咨詢者們?cè)?jīng)在應(yīng)用機(jī)器學(xué)習(xí)時(shí)受到限制，因?yàn)樗麄兊目蛻艨偸窍Ｍ麄兓卮馂楹巫龀瞿硞€(gè)決定。但是到目前為止，已經(jīng)受到 AI 算法限制的個(gè)體，還不可以像人類一樣回答為什么的問(wèn)題。

社會(huì)系統(tǒng)分析法在各種學(xué)科中，需要重點(diǎn)關(guān)注心理、法律、社會(huì)學(xué)、人類學(xué)和科學(xué)技術(shù)領(lǐng)域的研究。 該方法必須開(kāi)始研究社會(huì)的、政治的和文化上的價(jià)值觀是如何與技術(shù)發(fā)展和科學(xué)研究相互影響的。與單純只包含計(jì)算機(jī)科學(xué)和犯罪學(xué)的思考相比，我們只有在對(duì) AI 影響社會(huì)層面提出更加廣泛的問(wèn)題，才能夠?qū)θ斯ぶ悄艿挠绊懏a(chǎn)生出更加完整而和諧的理解。

未來(lái)還是有希望的。像下一個(gè)月在紐約舉行的研討會(huì)“機(jī)器學(xué)習(xí)的公平性、責(zé)任感和透明度”研討會(huì)就是一個(gè)很好的例子。但是贊助者們——包括政府、基金和企業(yè)，都應(yīng)該為我們描述的 AI 發(fā)展方法付出更多的努力才行。

人工智能代表了一種技術(shù)層面上的文化轉(zhuǎn)變。這跟歷史上的很多技術(shù)對(duì)文化的重大影響轉(zhuǎn)折點(diǎn)很像，比如印刷術(shù)的使用、火車的開(kāi)通，等等。自動(dòng)化的系統(tǒng)正在改變工作室、街道和學(xué)校。我們需要保證，在技術(shù)逐漸滲透進(jìn)我們?nèi)粘Ｉ畹幕A(chǔ)設(shè)施之前，這些改變是對(duì)我們有益的。

via nature

推薦閱讀：

谷歌 DeepMind 的可微分神經(jīng)計(jì)算機(jī) DNC 怎么樣？看 Facebook AI 研究員田淵棟、賈揚(yáng)清怎么說(shuō)

CCL 2016｜ 中科院張鈸院士：后深度學(xué)習(xí)時(shí)代的計(jì)算語(yǔ)言學(xué)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。