編者按：當我們都在關注人工智能對生活帶來的積極影響時，另一種擔憂的聲音正在產(chǎn)生：自主智能系統(tǒng)在許多社會機構早已司空見慣，但我們卻無法找到真正能評估其持續(xù)性影響的方法。本文提出了目前業(yè)界解決 AI 系統(tǒng)的社會和倫理學影響的三種方法，并提出了從社會系統(tǒng)分析入手的第四種方法，指出要關注人工智能在社會層面的意義。文章首發(fā)于Nature，作者 Kate Crawford 和Ryan Calo，雷鋒網(wǎng)作者老呂及何忞編譯，未經(jīng)許可不得轉載。

芝加哥警察利用算法推測涉及槍案的嫌疑人，

但事實證明這種方法效果不明顯

Sanchez/Chicago Tribune/TNS/Getty

白宮于本周發(fā)布了一份報告，闡述了它們對未來人工智能（AI）的看法。這份報告由來自西雅圖、匹茲堡、華盛頓和紐約的四個研究小組耗費三個月時間撰寫而成。

在這份報告中，許多來自不同領域的世界頂尖思想家討論了 AI 如何改變我們的生活方式，其中包含大量的例子，生動地解釋了機器學習和其他 AI 技術在解決生活中復雜問題方面的巨大作用，涉及從皮膚的變化預測癌癥，到減少數(shù)據(jù)中心的能源消耗等多個方面。

此外，報告還強調了眼下我們在 AI 研究上存在的主要盲點：自主智能系統(tǒng)在許多社會機構早已司空見慣，但我們卻無法找到真正能評估其持續(xù)性影響的方法。

最近幾年，人類在人工智能領域取得了巨大的進步。相應的，來自多個學科的設計師和研究人員需要對 AI進行系統(tǒng)性的分析，他們必須評估出技術對社會、文化以及政治環(huán)境的影響。

舉例來說，我們需要研究出 AiCure 應用是如何改變醫(yī)患關系的，這款應用可以追蹤病人是否堅持吃藥并將數(shù)據(jù)傳給醫(yī)師。同時，此類技術的使用還能通過對歷史數(shù)據(jù)的分析來預測犯罪高發(fā)地帶，減少警方對邊緣社區(qū)的警力濫用。此外，我們還需找出為何出手闊綽的投資者與低收入的借貸者總是會被區(qū)別對待。

老生長談的“奇點降臨”

“人們總是擔心電腦變聰明后會接管世界，但現(xiàn)實問題是它們在相當愚蠢時已然統(tǒng)治了全世界。”這是計算機科學家 Pedro Domingos 在其 2015 年的著作《The Master Algorithm》中給出的經(jīng)典論述。許多研發(fā)人員也認為 AI 的發(fā)展正處于初級階段，技術奇點還未到來，他們正推動 AI 系統(tǒng)（相對未經(jīng)測試的）進入各個社會機構。

正是由于 AI 研發(fā)人員的不斷努力，此類系統(tǒng)才成了醫(yī)師們指導診斷的利器。此外，法律機構也利用 AI 給客戶提建議，幫助他們打贏官司。金融機構則可利用 AI 找出貸款放給誰最安全，而雇主則能通過 AI 在應聘者中找出綜合實力最強的人。

分析師認為未來 AI 系統(tǒng)的適用范圍將得到大幅擴展，其經(jīng)濟價值更是高達數(shù)十億美元。而 IBM CEO 更是看好該技術的發(fā)展，她認為未來十年 AI 系統(tǒng)中蘊含著價值 2 萬億美元的新機遇。當然，這一切都只是初步預測，畢竟我們對如何衡量 AI 的價值還沒有形成共識。

CB Insights 的研究顯示，AI領域的投資呈逐年上升趨勢

CB Insights

許多人認為，AI 在做預測和指導性決策時沒有人類明智，但工程師卻認為 AI 能找出人類在決策時存在的偏見和傲慢。不過，它也不是萬能良藥。至少在當下，AI 的缺點依然會讓它在種族、性別和社會經(jīng)濟背景方面犯錯，而這些因素本就是人類做決策時的軟肋。

2013 年的一項研究顯示，在谷歌搜索典型的黑人名字，搜索結果中出現(xiàn)犯罪記錄搜索的可能性比白人名字高 25%。在另一例與種族有關的案例中，非營利機構 ProPublica 發(fā)現(xiàn)，法庭普遍使用的算法也存在種族歧視，在它眼中，黑人罪犯再次入獄的幾率是白人的兩倍。

三種工具

如何避免這種影響呢？目前，解決 AI 系統(tǒng)的社會和倫理學影響的有三種主流模式：服從模式、價值觀設計、思維實驗。這三者都很有意義，但是不論是單獨為人們所用，或是三者齊頭并進，都不能有效解決這個問題。

部署和執(zhí)行方法（deploy and comply）

通常情況下，企業(yè)或者其他組織采取基本的步驟，堅持一系列行業(yè)最佳實踐或是法律義務，來躲避政府或媒體的監(jiān)督。這種方法可以得到短期利益。比如說，2015 年谷歌系統(tǒng)錯誤地將一對美籍非裔夫妻識別為大猩猩后，及時調整了他的圖像識別算法。公司還提出了想法，將一種“紅色按鈕”引入其 AI 系統(tǒng)中，當工程師發(fā)現(xiàn)系統(tǒng)不對勁時，可以按下按鈕防止失控。

同樣地，F(xiàn)acebook 因為將這張越南小女孩 Kim Phúc 逃離燃燒彈襲擊的照片認定為裸體兒童照片并予以屏蔽，遭到了公眾的強烈譴責。而就在上個月，包括微軟、亞馬遜和 IBM 在內的幾家領先的 AI 公司，達成合作伙伴關系，意圖提升公眾的理解，并以此設立一些公共的標準。

“部署和執(zhí)行”方法盡管可以是活躍的點對點模式，但如果他們缺少充足的批判聲音和獨立的觀點貢獻者，那么該行業(yè)的努力仍舊存在進步空間。新的 AI 合作伙伴關系正在邀請倫理學家好社會組織者們的參與。但是人們的關注點依然在于，企業(yè)是否可以相對自由地在公眾中測試他們的 AI 系統(tǒng)，而無需持續(xù)地研究短期或中期的影響。

價值觀設計方法（Values in design）

多虧了技術中倫理道德方面設計的先驅們，包括極有影響力的學者 Batya Friedman 和 Helen Nissenbaum 的貢獻，現(xiàn)在的研究者和企業(yè)都執(zhí)行了諸如價值敏感設計或“有責任的創(chuàng)新”的方法來定義可能涉及的利益相關者，并對他們的價值觀進行界定。焦點小組或其他研究手段被用來建立人們關于個人隱私、環(huán)境問題等等的觀點。無論設計的是 App 還是無人車，這些未來用戶的價值觀都應滲透進技術的設計中。AI 系統(tǒng)的開發(fā)者們應該對這些方法加以重視。

不過，這些工具常常有一個前提假設：這個系統(tǒng)一定會被設計出來。他們無法幫設計者、政策制定者或者整個社會回答，某個系統(tǒng)是否應該被設計出來？某個基礎設施的系統(tǒng)原型是否太過于初級、不夠可靠而無法作為基礎設施（比如醫(yī)院系統(tǒng)或法庭系統(tǒng)）？

 

哮喘患者被一個預測肺炎的 AI 系統(tǒng)錯誤地評為低風險等級

Craig F. Walker/Denver Post/Getty

思維實驗方法（Thought experiments）

過去的幾年中，各種假設情境涌現(xiàn)，成為了公眾討論 AI 社會影響的爭論熱點。

最熱門的討論是關于人類設計出的高級智能系統(tǒng)最終統(tǒng)治或毀滅了人類自己的可能性。另外，還有一個從1967 年就開始的相關思維實驗——電車難題也獲得了新生，這個場景提出了關于責任和罪行的問題。在該問題中，一個人既可以讓一列正在行駛的電車碾壓過五個正在工作的人，也可以是電車變道沖向另一條只有一個人的路。很多評論家把這個假設的場景放在自動駕駛汽車中考慮，他們認為汽車應該自動做出包含有道德要求的選擇。

與機器人末日相比，無人車發(fā)生“謀殺選擇”的可能性提供了一種更為狹窄的道德推理框架。電車問題為我們解決更廣泛的社會問題提供了一些方便的指導：比如大量對自動汽車而非對公共交通的投資的價值問題；在無人車被允許上路前，安全性能應該有多高；（我們應該用什么工具來定義安全性？）、無人車在交通擁堵、環(huán)境和就業(yè)問題上的潛在影響有哪些等問題。

社會系統(tǒng)分析方法(Social-systems analysis)

我們相信誠然還需要第四種方法。一種實踐的、可以廣泛應用的社會系統(tǒng)分析法，它可以考慮到 AI 系統(tǒng)對所有方面的可能影響，并且能同時包括在每一個階段中的社會影響，包括概念階段、設計階段、部署階段和調控階段。

在第一階段，政府部門和行業(yè)等大范圍的研究者們需要開始調查大眾的信息、財富和基本服務的獲取渠道與 AI 系統(tǒng)的訓練數(shù)據(jù)之間有什么區(qū)別，如何匹配。

用芝加哥、伊利諾斯的“熱度地圖”（heat maps）識別那些人更容易卷入槍擊事件的算法為例，上個月發(fā)表的一份研究表明，這種地圖是無效的，他們擴大了特定人群的可能性，吸引了更多警力，但是卻沒有減少當?shù)氐姆缸锫省?/p>

社會系統(tǒng)方法可以在“熱度地圖”中考慮到當?shù)厣鐣途值臍v史數(shù)據(jù)。這可能要求對社區(qū)成員的問詢和對警察針對社區(qū)治安積極或消極反饋的權衡。這也可能意味著要將監(jiān)督委員會和法律機構的發(fā)現(xiàn)考慮進去。這種社會系統(tǒng)分析法還會要求系統(tǒng)的風險和報酬要保持平衡。所以在這個案例中，警方使用相似的技術來識別官員們誰可能有不正當行為（比如暴力）。

在另一個例子中，2015 年的一份研究表明，應用于預測醫(yī)院的哪個病人會得肺炎的機器學習技術在很多情形中都運行良好。但是它卻犯了一個嚴重的錯誤：盡管一些哮喘病人情況危急，它仍然指導醫(yī)生將這些病人送回了家。因為通常醫(yī)院會自動將哮喘病人送去重癥監(jiān)護病房，所以在系統(tǒng)被訓練的數(shù)據(jù)記錄中，這些病人很少出現(xiàn)在“需要后續(xù)護理”的分類里。使用社會系統(tǒng)分析法，我們就需要將醫(yī)院治療、保險政策等隱形因素考慮其中，適當?shù)卣{整患者的病例記錄。

社會系統(tǒng)分析法可以讓系統(tǒng)回答一些提問：比如自身是如何運轉的？金融咨詢者們曾經(jīng)在應用機器學習時受到限制，因為他們的客戶總是希望他們回答為何做出某個決定。但是到目前為止，已經(jīng)受到 AI 算法限制的個體，還不可以像人類一樣回答為什么的問題。

社會系統(tǒng)分析法在各種學科中，需要重點關注心理、法律、社會學、人類學和科學技術領域的研究。 該方法必須開始研究社會的、政治的和文化上的價值觀是如何與技術發(fā)展和科學研究相互影響的。與單純只包含計算機科學和犯罪學的思考相比，我們只有在對 AI 影響社會層面提出更加廣泛的問題，才能夠對人工智能的影響產(chǎn)生出更加完整而和諧的理解。

未來還是有希望的。像下一個月在紐約舉行的研討會“機器學習的公平性、責任感和透明度”研討會就是一個很好的例子。但是贊助者們——包括政府、基金和企業(yè)，都應該為我們描述的 AI 發(fā)展方法付出更多的努力才行。

人工智能代表了一種技術層面上的文化轉變。這跟歷史上的很多技術對文化的重大影響轉折點很像，比如印刷術的使用、火車的開通，等等。自動化的系統(tǒng)正在改變工作室、街道和學校。我們需要保證，在技術逐漸滲透進我們日常生活的基礎設施之前，這些改變是對我們有益的。

via nature

推薦閱讀：

谷歌 DeepMind 的可微分神經(jīng)計算機 DNC 怎么樣？看 Facebook AI 研究員田淵棟、賈揚清怎么說

CCL 2016｜ 中科院張鈸院士：后深度學習時代的計算語言學

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉載。詳情見轉載須知。