7
| 本文作者： 新智元 | 2016-02-20 17:34 |
按：本文來自arstechnica，作者Christian Grothoff J.M. Porup，由新智元原創(chuàng)翻譯。
［導(dǎo)讀］從2004年至今，美軍無人機(jī)的轟炸已經(jīng)在巴基斯坦的某個(gè)地區(qū)殺死了2500~4000人，其中絕大多數(shù)死者都被美國政府歸類為“極端分子”。轟炸對(duì)象的選擇背后，很可能是美國天網(wǎng)計(jì)劃，采用機(jī)器學(xué)習(xí)算法對(duì)5500完民眾進(jìn)行打分。但本文作者Christian Grothoff 和 J.M. Porup 認(rèn)為，這種算法會(huì)帶來很大的誤報(bào)率，而0.18%的誤報(bào)率意味著99000名無辜民眾被錯(cuò)誤地標(biāo)記為“恐怖分子”。在這些死亡的人數(shù)中，又有多少是無辜的民眾？
作者Christian Grothoff在法國國家信息與自動(dòng)化研究所（Inria）領(lǐng)導(dǎo)一支研究團(tuán)隊(duì)。他從UCLA獲得了計(jì)算機(jī)科學(xué)博士學(xué)位。他也以自由記者的身份進(jìn)行科技和國家安全方面的報(bào)道。
J. M. Porup是一位網(wǎng)絡(luò)安全方面的自由記者，居住在加拿大多倫多。當(dāng)他死后，他的墓志銘將會(huì)寫上“承擔(dān)違約責(zé)任”幾個(gè)字。他在Twitter上的賬號(hào)是@toholdaquill。
全文如下：
專家表示，這種“樂觀到可笑”的機(jī)器學(xué)習(xí)算法是“徹頭徹尾的胡說八道”。
一架MQ-9收割者偵察機(jī)停在停機(jī)坪上。
在2014年，同時(shí)負(fù)責(zé)領(lǐng)導(dǎo)美國中情局（CIA）和國安局（NSA）的主管人宣布，“我們根據(jù)元數(shù)據(jù)來殺人（we kill people based on metadata）”。現(xiàn)在，重新翻看先前披露的斯諾登檔案——被殺害的人中有許多可能都是無辜的。
去年，Intercept披露了一些詳細(xì)描述NSA“天網(wǎng)”計(jì)劃的文件。從這些文件中可以得知，“天網(wǎng)”涉及到通過巴基斯坦的移動(dòng)通信網(wǎng)絡(luò)對(duì)民眾實(shí)行監(jiān)控，隨后使用機(jī)器學(xué)習(xí)算法，基于5500萬民眾的蜂窩網(wǎng)絡(luò)元數(shù)據(jù)，嘗試著為其中每一個(gè)人是否是一名恐怖分子的可能性打分。
先前在戰(zhàn)犯法庭開庭前給出過專家證詞的Patrick Ball——他是一位數(shù)據(jù)科學(xué)家，也是人權(quán)數(shù)據(jù)分析組織的研究主管——用“樂觀得可笑”和“徹頭徹尾的胡說八道”來形容NSA的這個(gè)方法。Ball告訴我們，NSA在訓(xùn)練“天網(wǎng)”用于分析蜂窩元數(shù)據(jù)的機(jī)器學(xué)習(xí)算法上的一個(gè)瑕疵，讓它的結(jié)果在科學(xué)上是不可靠的。
據(jù)新聞?wù){(diào)查局（Bureau of Investigative Journalism）所言，從2004年至今，美軍無人機(jī)的轟炸已經(jīng)在巴基斯坦的某個(gè)地區(qū)殺死了2500~4000人，其中絕大多數(shù)死者都被美國政府歸類為“極端分子”。鑒于有一份“天網(wǎng)”PPT的歸檔時(shí)間寫著“20070108”，這種機(jī)器學(xué)習(xí)程序可能早在2007年就已經(jīng)開始了研發(fā)。
隨后數(shù)年，巴基斯坦可能有數(shù)以千計(jì)的無辜民眾都被這個(gè)“在科學(xué)上不可靠”的算法錯(cuò)誤地標(biāo)記為恐怖分子，讓他們不幸身亡。
“天網(wǎng)”的工作方式就像一個(gè)現(xiàn)代典型的大數(shù)據(jù)業(yè)務(wù)應(yīng)用。這個(gè)程序收集來元數(shù)據(jù)、將它們儲(chǔ)存在NSA的云服務(wù)器上，提取相關(guān)信息，然后應(yīng)用機(jī)器學(xué)習(xí)的方法來辨別執(zhí)行既定行動(dòng)的線索。除了不像商業(yè)應(yīng)用那樣試圖向目標(biāo)人群兜售某樣?xùn)|西之外，這種活動(dòng)——考慮到美國政府在巴基斯坦的整體業(yè)務(wù)重心——可能也涉及到美國政府的另一個(gè)機(jī)構(gòu)，CIA或者軍方，通過掠食者無人機(jī)和地面暗殺小隊(duì)（death squads）來執(zhí)行他們的“尋覓——修正——收工（Find-Fix-Finish）”策略。
從GSM的元數(shù)據(jù)中，我們可以測(cè)量每個(gè)被選中的人的生活模式、社交網(wǎng)絡(luò)、以及出行習(xí)慣等方面。
除了要處理記錄下的蜂窩手機(jī)通話數(shù)據(jù)（所謂的“DNR”，也就是被叫號(hào)碼識(shí)別數(shù)據(jù)，包括通話時(shí)間、通話長(zhǎng)度、誰呼叫誰等數(shù)據(jù)），“天網(wǎng)”也收集用戶的位置信息，建立詳細(xì)的出行檔案。關(guān)閉手機(jī)則被當(dāng)做是試圖逃避監(jiān)控的跡象而受到“天網(wǎng)”的標(biāo)記。天真地相信更換SIM卡就能防止被追蹤、并且這么做了的人，也會(huì)受到“天網(wǎng)”的標(biāo)記（燒入手機(jī)的ESN、MEID或是IMEI會(huì)讓手機(jī)即使換了SIM卡也會(huì)被追蹤痕跡）。
對(duì)海量的元數(shù)據(jù)進(jìn)行出行模式、基于行為的分析、以及其他“補(bǔ)充內(nèi)容”的分析，以此判斷“恐怖分子程度（terroristiness）”。
幻燈片稱，即使是更換手機(jī)也會(huì)被探測(cè)到并受到標(biāo)記。這種探測(cè)，我們只能猜測(cè)（因?yàn)榛脽羝蠜]有對(duì)這一點(diǎn)進(jìn)行詳細(xì)介紹），可能是基于其他元數(shù)據(jù)（比如現(xiàn)實(shí)世界中的用戶位置、社交網(wǎng)絡(luò)等）不變的基礎(chǔ)上的。
有了完整的元數(shù)據(jù)集，“天網(wǎng)”就能拼湊出一個(gè)人典型的日常軌跡——和誰一起出行、有哪些共同聯(lián)系人、和朋友們一起通宵、去其他國家旅行或是永久地搬離了?？傮w而言，這些幻燈片顯示，NSA的機(jī)器學(xué)習(xí)算法使用超過80種不同的屬性來為人們的“恐怖分子程度”打分。
幻燈片告訴我們，這個(gè)程序的假設(shè)是，恐怖分子與普通居民在其中一些屬性的行為上有顯著的區(qū)別。然而，在Intercept去年的披露中可以清楚地看到，被這個(gè)機(jī)器學(xué)習(xí)程序打出最高分的是Ahmad Zaidan，半島電視臺(tái)在伊斯蘭堡的分社社長(zhǎng)。
得到最高評(píng)分的人是PROB AHMED ZAIDAN，他去過Peshawar和Lahore。他長(zhǎng)期擔(dān)任半島電視臺(tái)在伊斯蘭堡的分社社長(zhǎng)。
據(jù)Intercept報(bào)道，Zaidan為了采訪叛軍、報(bào)道新聞，經(jīng)常前往有恐怖活動(dòng)的地區(qū)。不過，這種機(jī)器學(xué)習(xí)算法背后的NSA工程師們不但沒有質(zhì)疑產(chǎn)生這種可笑結(jié)果的機(jī)器學(xué)習(xí)方法，反而在他們內(nèi)部的報(bào)告會(huì)中鼓吹Zaidan的例子證明了“天網(wǎng)”的勝利，其中一張幻燈片上將Zaidan標(biāo)為“基地組織成員”。
｜給機(jī)器輸入數(shù)據(jù)
訓(xùn)練機(jī)器學(xué)習(xí)算法，就像是在訓(xùn)練一個(gè)貝葉斯垃圾郵件過濾器：你將已知的垃圾郵件和已知的非垃圾郵件輸入給它。從這些“確定事實(shí)（ground truths）”中，算法學(xué)習(xí)怎樣正確地過濾垃圾郵件。
同樣地，“天網(wǎng)”程序的一塊關(guān)鍵部分是將“已知的恐怖分子”數(shù)據(jù)輸入給機(jī)器學(xué)習(xí)算法，以此來教會(huì)算法探測(cè)相似的人群。
問題是，能輸入給算法用來學(xué)習(xí)的“已知的恐怖分子”數(shù)量較少，而就算NSA就這個(gè)問題發(fā)布一份調(diào)查收集數(shù)據(jù)，真正的恐怖分子們也不可能回答。NSA內(nèi)部文檔顯示，“天網(wǎng)”使用“已知的聯(lián)絡(luò)員”數(shù)據(jù)作為確定事實(shí)，默認(rèn)假定其他人都是無辜的。
巴基斯坦有大約1.92億人口，到2012年底時(shí)——也是工作人員作“天網(wǎng)”報(bào)告的時(shí)候——蜂窩手機(jī)持有量在1.2億左右。NSA分析了5500萬移動(dòng)手機(jī)的數(shù)據(jù)。鑒于有5500萬人的數(shù)據(jù)和80個(gè)要考慮的變量，人工處理數(shù)據(jù)、探索其中的意義顯而易見是不可能的。所以，就像其它任何一個(gè)大數(shù)據(jù)應(yīng)用一樣，NSA用機(jī)器學(xué)習(xí)來幫助——或者也許是替代，幻燈片上沒有說到——人類，進(jìn)行推理和判斷。
“天網(wǎng)”的分類算法分析了元數(shù)據(jù)和確定事實(shí)數(shù)據(jù)，然后基于元數(shù)據(jù)為其中的每一個(gè)人都生成了一個(gè)分?jǐn)?shù)。這個(gè)做法的目標(biāo)是，為恐怖分子生成較高的分?jǐn)?shù)，為剩下的無辜人群生成較低的分?jǐn)?shù)。
“天網(wǎng)”生成的出行報(bào)告樣例。
為了做到這一點(diǎn)，“天網(wǎng)”算法使用的是隨機(jī)森林算法，這種算法被經(jīng)常用在這類大數(shù)據(jù)應(yīng)用上。事實(shí)上，據(jù)上周新披露的斯諾登文檔的說法，英國的政府通信總部（GCHQ）似乎也用到了相似的機(jī)器學(xué)習(xí)方法?！斑@看上去像是，當(dāng)說到讓機(jī)器學(xué)習(xí)算法做出選擇的技術(shù)時(shí)，就是隨機(jī)決策森林，”倫敦大學(xué)學(xué)院（UCL）安全與隱私工程副教授George Danezis在一篇博客中對(duì)披露的文檔這樣分析道。
隨機(jī)森林法在訓(xùn)練集數(shù)據(jù)中隨機(jī)選擇子集來創(chuàng)造決策“樹”的“森林”，隨后通過對(duì)這些樹的預(yù)測(cè)做平均來將結(jié)果綜合到一起?！疤炀W(wǎng)”的算法從每個(gè)手機(jī)用戶身上都提取80個(gè)屬性，然后為他們生成一個(gè)分?jǐn)?shù)——就像一個(gè)垃圾郵件過濾器。
做完這些以后，“天網(wǎng)”要選擇一個(gè)閾值——超過這個(gè)值的手機(jī)用戶會(huì)被分類為“恐怖分子”。幻燈片中展示了當(dāng)閾值被設(shè)定為50%漏報(bào)率（false negative）時(shí)的評(píng)估結(jié)果。這個(gè)時(shí)候，原本將會(huì)被分類為“恐怖分子”的人中有一半就被分到了無辜民眾的類別，以此讓誤報(bào)率——無辜民眾被錯(cuò)誤地歸類成“恐怖分子”——盡可能的低。
｜誤報(bào)
當(dāng)然，我們不能肯定的是，在這次展示中使用的50%漏報(bào)率，是否就是在生成最終的獵殺名單時(shí)使用的閾值。不管怎么樣，如何處理無辜的誤報(bào)情況仍然是一個(gè)問題。
“他們這樣做的原因，”Ball解釋說，“是因?yàn)槁﹫?bào)越少，誤報(bào)就肯定越多。這是不對(duì)等的：有那么多的正確拒斥（true negative），如果降低閥值以減少漏報(bào)1個(gè)人，這就將增加數(shù)以千計(jì)人的誤報(bào)。所以有這樣的決策。”
統(tǒng)計(jì)算法能夠在誤報(bào)率很低的情況下找出聯(lián)絡(luò)員（courier），如果能允許我們錯(cuò)失其中的半數(shù)人。
一張NSA的幻燈片自夸道，“統(tǒng)計(jì)算法能夠在誤報(bào)率很低的情況下找出聯(lián)絡(luò)員（courier），如果能允許我們錯(cuò)失其中的半數(shù)人?！?/p>
但是，NSA所謂的“很低”，到底是多低？
Ball告訴我們，問題在于，NSA是如何通過確定事實(shí)來訓(xùn)練算法的。
NSA將已知的7個(gè)恐怖分子的數(shù)據(jù)放入隨機(jī)選擇的10萬人的數(shù)據(jù)子集（通過他們手機(jī)上的MSIDN/MSI來辨別）中，以此來評(píng)估“天網(wǎng)”程序。他們向?qū)W習(xí)算法中輸入其中6個(gè)恐怖分子的數(shù)據(jù)進(jìn)行訓(xùn)練，然后讓天網(wǎng)程序找出第7個(gè)恐怖分子。上面那張幻燈片展示了誤報(bào)的概率。
“首先，能用來訓(xùn)練和測(cè)試模型的‘已知的恐怖分子’數(shù)量非常少，”Ball說道，“如果他們測(cè)試模型時(shí)使用的記錄與訓(xùn)練模型時(shí)使用的一樣，那么他們對(duì)擬合性的評(píng)估就是徹頭徹尾的胡說八道。通常的做法是，一開始就從數(shù)據(jù)集中分離出一部分?jǐn)?shù)據(jù)、不參與訓(xùn)練過程，這樣的話測(cè)試時(shí)用到的記錄就是這個(gè)模型從未見過的了。如果沒有這一步，他們對(duì)分類效果的評(píng)估就樂觀到可笑了?！?nbsp;
這么說是因?yàn)椋?0萬名居民是隨機(jī)選擇出來的，而7名恐怖分子則來自于一個(gè)已知的小群體。隨機(jī)選擇出不到總體的0.1%的迷你數(shù)據(jù)子集，那么居民們的社交圖譜密度就會(huì)大幅降低，但是“恐怖分子”群體內(nèi)部的關(guān)聯(lián)度仍然很高?？茖W(xué)上可靠的統(tǒng)計(jì)分析會(huì)要求NSA在隨機(jī)選擇子集之前就將恐怖分子混入普通居民的數(shù)據(jù)集中——但是由于恐怖分子的數(shù)量過少，這沒有實(shí)際操作意義。
這可能聽起來僅僅是一個(gè)學(xué)術(shù)問題，但是，Ball說道，這實(shí)際上高度傷害了結(jié)果的質(zhì)量，并最終傷害了將從人群中預(yù)測(cè)出恐怖分子并將之暗殺的準(zhǔn)確程度。在這種情況下，進(jìn)行質(zhì)量評(píng)估是尤為重要的，因?yàn)槲覀冎离S機(jī)森林法會(huì)過擬合它的訓(xùn)練集，產(chǎn)生過度樂觀的結(jié)果。因此NSA的分析并不能很好地展現(xiàn)出這個(gè)方法質(zhì)量如何。
在5500萬人中，0.18%的誤報(bào)率意味著99000名無辜民眾被錯(cuò)誤地標(biāo)記為“恐怖分子”。
如果能夠允許漏報(bào)的人（真正的“恐怖分子”）存活下來一半，那么NSA 0.18%的誤報(bào)率依然意味著成千上萬的無辜者被錯(cuò)誤地分類為“恐怖分子”，并可能為他們帶來死亡的命運(yùn)。即便是NSA最樂觀的結(jié)果——0.008%的誤報(bào)概率——也仍然意味著許多無辜民眾的死亡。
“誤報(bào)率的那張幻燈片上，注意最后一行，寫著‘+固定的選擇器（Anchory Selectors）’，”Danezis對(duì)我們說，“這是關(guān)鍵，而具體的數(shù)字卻沒有報(bào)道……如果你對(duì)5500萬人口應(yīng)用0.18%的誤報(bào)率，你實(shí)際上可能會(huì)殺害成千上萬的無辜民眾（5500萬的0.18%是99000）。然而，如果你是在一個(gè)你已經(jīng)預(yù)測(cè)是恐怖主義盛行的群體上應(yīng)用這個(gè)誤報(bào)率——因?yàn)?，比如說他們位于一群恐怖分子的兩跳鄰居關(guān)系（two-hop neighbourhood）之內(nèi)——那么你殺死的無辜民眾會(huì)少一些。
除于明確反對(duì)“殺死多少無辜者是可以被接受的”這個(gè)話題，這也假定了一個(gè)前提：有許多恐怖分子需要被識(shí)別出來?！拔覀冎?，在一個(gè)群體中，‘真正的恐怖分子’的比例是非常小的，”Ball指出，“正如Cory說的那樣，如果這個(gè)前提不是正確的，那么我們都已經(jīng)（被他們殺）死了。所以，很小的誤報(bào)率也會(huì)讓很多人被錯(cuò)誤地認(rèn)為是恐怖分子?！?nbsp;
“更重要的一點(diǎn)是，”Ball補(bǔ)充道，“這個(gè)模型完全忽略了‘真正的恐怖分子’中那些與用來訓(xùn)練模型的‘真正的恐怖分子’在統(tǒng)計(jì)上表現(xiàn)極為不同的家伙?！?/p>
0.008%的誤報(bào)率對(duì)于傳統(tǒng)的商業(yè)應(yīng)用而言是非常非常低的。當(dāng)出錯(cuò)的結(jié)果是把廣告投放到錯(cuò)誤的人身上、或是向某人錯(cuò)誤地收取高昂的會(huì)員價(jià)時(shí)，這個(gè)誤報(bào)率是可以接受的。然而，即使是0.008%的巴基斯坦人口，也意味著有15000人可能會(huì)被誤判為恐怖分子并成為軍隊(duì)的打擊目標(biāo)——更不用說無意中被卷入暗殺的路人，或者首先來到現(xiàn)場(chǎng)的先遣急救員（first responders）了。
安全專家Bruce Schneier表示同意?！按髷?shù)據(jù)在政府層面的使用和企業(yè)層面的使用在本質(zhì)上就不同，”他告訴我們，“對(duì)精確度的要求意味著同一種技術(shù)可能不再適用。如果Google的應(yīng)用出了錯(cuò)，人們會(huì)看到不想買的汽車的廣告。而如果政府的應(yīng)用出了錯(cuò)，他們就會(huì)殺害無辜者?！?nbsp;
日內(nèi)瓦公約禁止殺害平民，美國是簽約國之一。然而，關(guān)于天網(wǎng)程序的許多方面仍然是未知的。例如，天網(wǎng)是一個(gè)閉環(huán)系統(tǒng)嗎，或者說，對(duì)于它根據(jù)元數(shù)據(jù)篩選出的恐怖分子用戶，分析師是否會(huì)在暗殺實(shí)行前審查每一個(gè)用戶的檔案？是否有在致力于抓捕這些“恐怖分子”嫌疑人、對(duì)他們開庭審判？鑒于生成獵殺名單的機(jī)器學(xué)習(xí)算法有明顯缺陷，美國政府如何要確保它不會(huì)殺害無辜的人？
“對(duì)于使用天網(wǎng)是否是一種戰(zhàn)爭(zhēng)罪行這件事，我尊重律師的看法，”Ball說道，“這是壞的科學(xué)，該死的這毫無疑問，因?yàn)榉诸愒诒举|(zhì)上就是概率性的。如果你要判處一個(gè)人死刑，通常我們有一個(gè)‘超出合理懷疑’的標(biāo)準(zhǔn)，這和你談?wù)摲謹(jǐn)?shù)接近“可能的恐怖分子”的那些人，完全就不是一回事。而這假定了分類器處在篩選恐怖分子的流程的第一階段——我很懷疑這樣的設(shè)置，因?yàn)?，很?jiǎn)單，我們沒有足夠的“已知的恐怖分子”的例子，來讓隨機(jī)森林為它們生成一個(gè)不錯(cuò)的模型。”
遭泄露的NSA幻燈片提供了強(qiáng)有力的證據(jù)，表明有數(shù)以千計(jì)的無辜民眾被貼上了恐怖分子的標(biāo)簽。被貼上標(biāo)簽以后會(huì)發(fā)生什么，我們就不知道了。我們不了解全貌，NSA也不怎么可能會(huì)幫我們填補(bǔ)這個(gè)空白。（我們?cè)?jīng)多次試圖從NSA那里獲得關(guān)于這個(gè)問題的評(píng)論，但直到這篇文章刊發(fā)前它都沒有給出回應(yīng)）
算法正越來越多地統(tǒng)治著我們的生活。從運(yùn)用“天網(wǎng)”的邏輯搜尋巴基斯坦的“恐怖分子”，到運(yùn)用相似的方法在國內(nèi)搜尋“毒販”、“抗議者”或者只是對(duì)政府持有異議的人士，只需要邁出小小的一步?！盎谠獢?shù)據(jù)”來殺人，正如Hayden說的那樣，當(dāng)它發(fā)生在遙遠(yuǎn)的土地上的時(shí)候是很容易被人忽略的。但當(dāng)天網(wǎng)應(yīng)用在我們身上的時(shí)候會(huì)發(fā)生什么——如果它現(xiàn)在還沒有的話？
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
