人工智能算法在現(xiàn)實(shí)世界中的落地，從來都離不開兩個(gè)研究范疇：一是模型性能強(qiáng)大可用，二是設(shè)計(jì)邏輯安全可信。

訪談｜李梅、劉冰一

作者｜李梅

編輯｜陳彩嫻

2013 年 4 月 23 日的午后一點(diǎn)，美國各大交易所的平靜被驟然打破，辦公室里一臺(tái)臺(tái)電話響個(gè)不停，同時(shí)夾雜著工作人員急躁的咆哮聲，驚恐與不安的情緒四處竄開。

華爾街的金融精英們正在經(jīng)歷著他們所能想象到的最可怕的危機(jī)：

短短 5 秒內(nèi)，標(biāo)普市值就被抹去了 1365 億美元！

股市突然遭遇如此瘋狂的大跳水，其直接的導(dǎo)火索是美聯(lián)社官方推特賬戶發(fā)出的一條僅包含 12 個(gè)詞的短快訊：

Breaking: Two Explosions in the White House and Barack Obama is injured.（突發(fā)：白宮發(fā)生兩起爆炸，貝拉克·奧巴馬受傷。）

這一重磅政治新聞給金融界投放了一顆「信息炸彈」，消息被大量傳播后，股票市場頓時(shí)陷入一片混亂。

然而，這場風(fēng)波從開始到結(jié)束，只持續(xù)了大約 4 分鐘。

美聯(lián)社很快聲明白宮遇襲為虛假新聞，白宮發(fā)言人也出面表示「總統(tǒng)安然無恙」，各路股票指數(shù)旋即回歸常規(guī)水平，資本市場迅速恢復(fù)平靜。

數(shù)小時(shí)后，發(fā)布假新聞的幕后黑手也浮出了水面——一個(gè)叫做“敘利亞電子軍”（Syrian Electronic Army）的、罪行累累的黑客組織黑入了美聯(lián)社賬號(hào)。

回看整起事件，引人深思的是：為何社交媒體上的一點(diǎn)風(fēng)吹草動(dòng)就能在資本市場引發(fā)如此劇烈的反應(yīng)？

這是因?yàn)椋谒惴ㄙx能金融交易的場景下，股票交易算法在社交網(wǎng)站上抓取到「有價(jià)值」的新聞后，會(huì)自動(dòng)執(zhí)行股票交易行為，從而引發(fā)一系列連鎖反應(yīng)。

對(duì)人類而言，其實(shí)不難識(shí)別和求證新聞的真實(shí)性，比如當(dāng)時(shí)就有人提醒，美聯(lián)社一貫的風(fēng)格是稱呼「奧巴馬總統(tǒng)」，而不是直呼其名。但對(duì)于缺乏常識(shí)信息的機(jī)器學(xué)習(xí)模型來說，辨別這一點(diǎn)卻很困難，以至于會(huì)在真實(shí)世界中造成巨大損失。這也是我們以「智能」代替「人工」所可能要承受的代價(jià)之一。

在九年后的今天，人工智能和機(jī)器學(xué)習(xí)在現(xiàn)實(shí)物理世界中的應(yīng)用已經(jīng)變得更加廣泛。但 AI 遠(yuǎn)非萬能，機(jī)器學(xué)習(xí)模型在可信任性方面已經(jīng)暴露出令人憂心的問題。在我們所生活的世界中，不僅有無法識(shí)別假新聞的愚蠢的 AI，更存在著危險(xiǎn)的 AI。

比如在自動(dòng)駕駛、智慧醫(yī)療等對(duì)安全性要求非常高的場景中，模型的「失之毫厘」會(huì)帶來「差之千里」的危險(xiǎn)后果。同時(shí)，數(shù)據(jù)隱私的問題也日益突出。得益于生物信息識(shí)別技術(shù)的開發(fā)，在機(jī)場、火車站等場所，人們在機(jī)器上刷個(gè)臉、摁個(gè)指紋，就能方便快捷地完成安檢程序。但這些海量的生物信息被采集和存儲(chǔ)起來，也為不法分子提供了可乘之機(jī)，黑產(chǎn)鏈買賣盜用人臉信息去實(shí)施詐騙的新聞并不罕見。

所以，人類要如何信任 AI ？人類可以放心地把財(cái)產(chǎn)管理讓渡給算法、把生命健康托付給模型、把隱私信息拱手交給機(jī)器嗎？

可信 AI ，正是一個(gè)致力于讓 AI 更安全、讓人類對(duì) AI 更放心的一個(gè)研究領(lǐng)域，目前也已經(jīng)有越來越多的研究者意識(shí)到可信機(jī)器學(xué)習(xí)的重要性并投入其中，李博便是其中之一，而且是當(dāng)中的一位佼佼者。

圖注：李博在新加坡高校舉辦的學(xué)術(shù)論壇上作演講，以2013年 AI 算法對(duì)美國股票的波動(dòng)影響來詮釋可信機(jī)器學(xué)習(xí)研究的重要性

從本科就讀同濟(jì)大學(xué)信息安全專業(yè)開始，李博就關(guān)注到計(jì)算機(jī)安全問題。之后，她去美國范德堡大學(xué)攻讀博士，機(jī)器學(xué)習(xí)模型在真實(shí)世界中安全性不足的種種現(xiàn)象，讓她感到機(jī)器學(xué)習(xí)的安全問題已經(jīng)非常急迫，便毅然投身于可信 AI 領(lǐng)域的研究。如今，她在伊利諾伊大學(xué)香檳分校（UIUC）計(jì)算機(jī)系領(lǐng)導(dǎo)著安全學(xué)習(xí)實(shí)驗(yàn)室，致力于解決機(jī)器學(xué)習(xí)的可驗(yàn)證魯棒性、隱私性、泛化性等問題 。

從過去到現(xiàn)在再到未來，李博所要探索的問題始終是：如何讓 AI 更安全、更可信？

1 初入「安全」門

李博出生于廣東湛江，降生人世還沒有多久，就被父母寄予希望，在未來會(huì)成為一位博學(xué)之才，于是給她取名為「博」。二十七年后，李博果然拿到博士學(xué)位，成為人工智能領(lǐng)域一位饒有建樹的博士。

上初中后，李博的父母工作繁忙，有時(shí)顧不到她的生活與學(xué)習(xí)，于是決定讓李博搬到山西的外婆家。那里的親戚都是三尺講臺(tái)上的老師，這為李博后來的成長創(chuàng)造了優(yōu)質(zhì)的環(huán)境。在教師家庭耳濡目染的李博，很早就培養(yǎng)了嚴(yán)謹(jǐn)?shù)男袨楹退伎剂?xí)慣。

李博的家人十分支持她拓展自己的興趣愛好，比如跳體操、彈鋼琴，同時(shí)還有意去逐步建立她的科學(xué)素養(yǎng)。小時(shí)候，李博從《十萬個(gè)為什么》中獲得科學(xué)啟蒙，再大一些就去讀霍金的《時(shí)間簡史》、《果殼中的宇宙》等等。在好動(dòng)的年紀(jì)，李博卻能夠沉浸在書本的世界中，去探索世界本質(zhì)、思考自然原理。從科普讀物中，她領(lǐng)略到了自然學(xué)科的美妙，尤其是物理和數(shù)學(xué)。

2007年，李博進(jìn)入同濟(jì)大學(xué)電子與信息工程學(xué)院就讀本科，學(xué)習(xí)信息安全專業(yè)。那時(shí)，信息安全還算是一個(gè)比較新的學(xué)科，盡管李博對(duì)于這個(gè)領(lǐng)域還沒有特別深入的認(rèn)知，但她能強(qiáng)烈地感受到這是一個(gè)很重要、很有價(jià)值的研究方向。

除了與其他計(jì)算機(jī)類專業(yè)相同的課程外，李博還修讀了一些更貼合信息安全的核心課程，包括密碼學(xué)。作為網(wǎng)絡(luò)安全的基石，密碼學(xué)利用算法防范潛在的惡意攻擊，以保障信息的安全傳輸和安全存儲(chǔ)，極大地吸引了李博的興趣。

而大二去臺(tái)灣交換的一年，更讓她在科研實(shí)踐中真正見識(shí)到了關(guān)于安全研究的門道。

當(dāng)時(shí)，逢甲大學(xué)的張真誠教授到上海訪學(xué)，就信息安全和計(jì)算機(jī)密碼學(xué)領(lǐng)域的發(fā)展等話題在高校開展了學(xué)術(shù)講座。張真誠主要從事信息安全、密碼學(xué)和多媒體圖像處理三大領(lǐng)域的研究工作，是臺(tái)灣信息安全界的引領(lǐng)人物、IEEE 和 IET 雙料院士，被稱為「臺(tái)灣密碼學(xué)之父」。十幾年過去，雖然李博已經(jīng)記不清當(dāng)時(shí)講座的具體內(nèi)容，但她記得自己在臺(tái)下聽得津津有味、受益匪淺：「當(dāng)時(shí)覺得這些研究非常好玩?！?/p>

不久后，李博就看到學(xué)校發(fā)布了臺(tái)灣交換生項(xiàng)目的選拔通知，而且還可以申請(qǐng)張真誠教授的交換生名額！于是李博毫不猶豫地填了報(bào)名表，最后如愿去了臺(tái)灣。

在臺(tái)灣交換期間，李博與張老師實(shí)驗(yàn)室里的研究生和博士生們一起做研究、寫論文，大部分時(shí)間都是非常忙碌且充實(shí)的。李博回憶，團(tuán)隊(duì)的成員都很努力，經(jīng)常一起熬夜，通宵趕 deadline，餓了就訂一份臺(tái)灣夜市的海鮮粥來補(bǔ)充能量，然后繼續(xù)奮戰(zhàn)。大家對(duì)于科研的熱情投入讓她深受感動(dòng)：「感覺那樣緊湊的生活非常有意義，覺得就是自己想要的生活?！?/p>

在參與科研的過程中，李博對(duì)信息安全方向的研究有了更深入的了解，并且還產(chǎn)出了科研成果，發(fā)表了一些密碼學(xué)方向的論文，內(nèi)容涉及如加解密領(lǐng)域的數(shù)字水印研究（Digital water marking）、視覺密碼的加解密等。

李博在學(xué)術(shù)研究上的眼光無疑也是獨(dú)到且敏銳的。本科四年，李博的科研工作主要側(cè)重于信息安全方向，但她也逐漸開始了對(duì) AI 的接觸和學(xué)習(xí)，并萌生了將 AI 與安全結(jié)合起來研究的興趣和設(shè)想。雖然對(duì)于未來的研究方向還不甚明確，但她可以確定的是，自己將來想做和計(jì)算機(jī)安全相關(guān)的研究。

彼時(shí)，深度學(xué)習(xí)技術(shù)還未崛起，「可信機(jī)器學(xué)習(xí)」這一領(lǐng)域更是尚未誕生，但李博已經(jīng)頗具前瞻性地預(yù)見到它的必將出現(xiàn)：

安全的、可信任的 AI 才是造福人類的 AI。（公眾號(hào)：雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))）

2 AI 模型的「攻防戰(zhàn)」

本科畢業(yè)后，李博赴美國范德堡大學(xué)（Vanderbilt University）攻讀博士，師從 Yevgeniy Vorobeychik 教授。

在國內(nèi)讀本科，接著去美國讀博，這是李博很早就為自己規(guī)劃好的道路。申請(qǐng)學(xué)校時(shí)，李博主要考慮與自己的科研興趣相匹配的學(xué)校。有著「南方哈佛」之稱的范德堡大學(xué)在安全領(lǐng)域的研究實(shí)力很強(qiáng)勁，所以李博沒有太多糾結(jié)，就選擇了這所學(xué)校。而且，之前在臺(tái)灣交換時(shí)，她憑借發(fā)表的論文，在參加一些會(huì)議時(shí)與領(lǐng)域內(nèi)的前輩學(xué)者有過不少交流，她的科研成果給他們留下了深刻的印象，這也為她申博成功助推了一把。

李博的導(dǎo)師 Yevgeniy Vorobeychik 教授專注于對(duì)抗機(jī)器學(xué)習(xí)領(lǐng)域的研究，尤其是從博弈論的角度去解決機(jī)器模型的安全和隱私問題，他主導(dǎo)的研究機(jī)構(gòu) ISIS （Institute for Software Integrated Systems）在網(wǎng)絡(luò)物理系統(tǒng)安全領(lǐng)域首屈一指。他與德克薩斯大學(xué)達(dá)拉斯分校的 Murat Kantarcioglu 教授合著的 Adversarial Machine Learning（《對(duì)抗機(jī)器學(xué)習(xí)：機(jī)器學(xué)習(xí)系統(tǒng)中的攻擊和防御》）一書，全面論述了機(jī)器學(xué)習(xí)的安全性問題，討論了各種攻擊和防御技術(shù)。

圖注：李博的博士導(dǎo)師 Yevgeniy Vorobeychik 教授

李博入學(xué)后，將機(jī)器學(xué)習(xí)作為自己的科研方向，并思考選擇什么樣的角度去研究。導(dǎo)師建議她去嘗試機(jī)器學(xué)習(xí)安全方向。在當(dāng)時(shí)，這個(gè)領(lǐng)域還非常小眾，全球從事該領(lǐng)域研究的學(xué)者加起來也是屈指可數(shù)。導(dǎo)師告訴她，如果她選擇這個(gè)方向，以她的能力肯定能做出很好的成果，但它在未來的前景如何還不好判斷，所以這是一個(gè)比較冒險(xiǎn)的選擇。

聽完這番話，李博并沒有產(chǎn)生類似的憂慮，相反，這正是她所感興趣的研究。而且，經(jīng)過本科在信息安全方面的學(xué)習(xí)和研究，她相信自己能將安全和機(jī)器學(xué)習(xí)很好地結(jié)合起來，能更準(zhǔn)確地找到機(jī)器學(xué)習(xí)的安全痛點(diǎn)在哪里。她的選擇很有前瞻性，后來深度學(xué)習(xí)的大火推動(dòng)了很多技術(shù)在真實(shí)世界中的落地，安全問題變得更加突出。

Vorobeychik 對(duì)于李博在科研上的進(jìn)展并不急于求成，寬慰她說「第一、第二年只管好好上課，不用太著急」，但他沒想到這位中國學(xué)生并不想過得太「輕松」，反而 push 起導(dǎo)師來。

「我當(dāng)時(shí)自己其實(shí)比較著急，想要趕快寫論文、發(fā)論文。」李博沒有藏著掖著，直接跟 Vorobeychik 表明自己在課程學(xué)習(xí)方面沒什么問題，想要盡快投入科研。經(jīng)過交談，導(dǎo)師了解了她的訴求，開始讓她參與到科研項(xiàng)目中，而且是做比較難的項(xiàng)目。

李博最初跟著導(dǎo)師做了許多從博弈論角度研究安全問題的項(xiàng)目。博弈論是當(dāng)時(shí)機(jī)器學(xué)習(xí)安全研究所采用的一個(gè)主流方法論。機(jī)器學(xué)習(xí)模型的交互過程可以建立為一個(gè)博弈模型，在一個(gè)博弈（Game）中，有兩個(gè)參與者，分別是攻擊者（Attacker）和防御者（Defender）。研究人員的目標(biāo)是找出一個(gè)均衡博弈狀態(tài)，即最優(yōu)解，讓防御者贏得博弈，從而提高機(jī)器學(xué)習(xí)模型的魯棒性。

沿著這個(gè)方向，李博做了一系列的研究。比如，在對(duì)垃圾郵件和惡意軟件進(jìn)行檢測的研究上，對(duì)抗性環(huán)境中的攻擊者通常會(huì)故意避開用于檢測它們的分類器。為了解決這個(gè)問題，李博與導(dǎo)師研究了攻擊的目標(biāo)建模算法，發(fā)現(xiàn)常用的「特征篩選」會(huì)導(dǎo)致模型更加容易被攻擊。為此，他們提出一個(gè)基于「Stackelberg Game」的優(yōu)化學(xué)習(xí)模型，在特征篩選和對(duì)抗規(guī)避之間進(jìn)行權(quán)衡，尋求最優(yōu)解，從而獲得魯棒性算法。這篇論文被 NeurIPS 2014 接收，成為后來很多機(jī)器學(xué)習(xí)安全研究的主要參考工作之一，至今已被引用上百次。

論文地址：https://papers.nips.cc/paper/2014/file/8597a6cfa74defcbde3047c891d78f90-Paper.pdf

隨著研究的深入，李博在機(jī)器學(xué)習(xí)模型的安全性方面做出了許多開創(chuàng)性的重要成果。比方說，在被NeurIPS 2016 接收的一項(xiàng)工作中，李博首次提出了針對(duì)推薦系統(tǒng)的投毒攻擊。投毒攻擊（Poisoning Attack），是指在機(jī)器學(xué)習(xí)模型的訓(xùn)練階段，惡意攻擊者可以修改一小部分訓(xùn)練數(shù)據(jù)，從而使得模型在測試階段做出符合攻擊者預(yù)期的錯(cuò)誤判斷。李博與導(dǎo)師以及 CMU 的學(xué)者合作，展示了對(duì)協(xié)同過濾（Collaborative Filtering）這種系統(tǒng)推薦技術(shù)的數(shù)據(jù)投毒攻擊，并提出了相應(yīng)的防御算法，在真實(shí)世界中得到了有效性驗(yàn)證。

論文地址：https://arxiv.org/pdf/1608.08182.pdf

目前，投毒攻擊（包括后門攻擊）已經(jīng)在不同的深度學(xué)習(xí)模型中被廣泛研究，而李博的這項(xiàng)早期研究事實(shí)上為學(xué)界后續(xù)的一系列工作奠定了深厚的理論基礎(chǔ)。比如最近她和團(tuán)隊(duì)提出的針對(duì)后門攻擊的、可驗(yàn)證的深度學(xué)習(xí)模型魯棒性同樣是「史上首次」，為防御后門攻擊的模型的魯棒性提供了理論保證。

另外，在隱私數(shù)據(jù)保護(hù)方面，李博開發(fā)了可擴(kuò)展的隱私保護(hù)數(shù)據(jù)生成模型，并用來生成具有隱私保護(hù)的醫(yī)療病例數(shù)據(jù)。這項(xiàng)工作還被集成在開源工具 MITRE Identification Scrubber Toolkit (MIST)中。

博士期間的李博一直保持著非常高產(chǎn)出的狀態(tài)：25篇會(huì)議論文，11篇期刊論文，還有各種榮譽(yù)獎(jiǎng)項(xiàng)。2015年，李博還獲得了賽門鐵克研究實(shí)驗(yàn)室獎(jiǎng)學(xué)金，該獎(jiǎng)項(xiàng)全球僅有 3 人入選，用于獎(jiǎng)勵(lì)在計(jì)算機(jī)安全領(lǐng)域做出創(chuàng)新性工作的學(xué)者。這些成績都是李博在這五年抓緊每分每秒努力做科研的結(jié)果，相信「天才在于勤奮」的她，直到現(xiàn)在也是保持著每天從早上九點(diǎn)工作到凌晨的日常。

2016年，名字帶「博」的李博，終于正式成為了一名博士。

李博打算繼續(xù)留在學(xué)術(shù)界，這也是她一直以來的規(guī)劃。她認(rèn)為，在學(xué)術(shù)界的好處是可以更自由地去探索一些自己特別感興趣的問題，即使這些探索可能沒法很快「變現(xiàn)」，但從長遠(yuǎn)來看，它們可能具有很重要的價(jià)值。不過，李博也談到在工業(yè)界做研究亦有其不同的優(yōu)勢，比如工業(yè)界可以提供更豐富的數(shù)據(jù)資源，也會(huì)提出更多具有實(shí)際應(yīng)用價(jià)值的問題。所以，李博后來也去積極地嘗試與工業(yè)界展開一些合作。

申請(qǐng)教職時(shí)，李博在一個(gè)月里輾轉(zhuǎn)飛到美國各個(gè)城市去面試，最終獲得了包括伊利諾伊大學(xué)香檳分校（UIUC）在內(nèi)的多個(gè)大學(xué)的錄取。

在 CS Ranking 上，UIUC 在 AI 領(lǐng)域排名全球第三，那里做機(jī)器學(xué)習(xí)和計(jì)算機(jī)安全方向的大牛非常多，但當(dāng)時(shí)做「機(jī)器學(xué)習(xí)安全」的學(xué)者卻沒有多少。李博認(rèn)為這其實(shí)是一個(gè)很好的機(jī)會(huì)，未來她的合作者都將是一群非常優(yōu)秀的科學(xué)家，肯定能在科研上獲得高質(zhì)量產(chǎn)出。就這樣，李博最終選擇了 UIUC。

拿到教職 offer 后，李博選擇花一年時(shí)間去加州大學(xué)伯克利分校做博士后研究，博士后的導(dǎo)師就是全球知名的「計(jì)算機(jī)安全教母」宋曉冬教授（Dawn Song）。這一年，李博接觸和認(rèn)識(shí)了更多可信機(jī)器學(xué)習(xí)的研究者，還拓展了跟工業(yè)界的聯(lián)系，從而注意到更多真實(shí)世界中的問題。

李博與宋曉冬在對(duì)抗機(jī)器學(xué)習(xí)方面合作了許多重要研究，涉及視覺分類的物理攻擊、后門投毒攻擊、GAN 生成對(duì)抗樣本、對(duì)抗性子空間的局部內(nèi)在維度表征、空間轉(zhuǎn)換的對(duì)抗樣本、物體檢測器的物理對(duì)抗、深度神經(jīng)網(wǎng)絡(luò)的黑盒攻擊等等。

其中一項(xiàng)在魯棒機(jī)器學(xué)習(xí)領(lǐng)域堪稱為里程碑式的研究，這便是李博與宋曉冬等人合作的“Robust physical-world attacks on deep learning visual classification”。在這項(xiàng)工作中，他們以自動(dòng)駕駛中的安全問題為切入點(diǎn)，最早證明了對(duì)抗樣本對(duì)深度神經(jīng)網(wǎng)絡(luò)的攻擊可以存在于物理世界中。這項(xiàng)工作被 CVPR 2018 接收，在當(dāng)時(shí)產(chǎn)生了極大的領(lǐng)域影響力，多次被《連線》、《紐約時(shí)報(bào)》、《財(cái)富》、IEEE Spectrum 等媒體報(bào)道，論文目前已經(jīng)被引用1800余次，是李博所有論文中被引用次數(shù)最多的一篇。

論文地址：https://openaccess.thecvf.com/content_cvpr_2018/papers/Eykholt_Robust_Physical-World_Attacks_CVPR_2018_paper.pdf

以往的對(duì)抗機(jī)器學(xué)習(xí)研究主要囿于對(duì)數(shù)字世界里模型的觀察，比如研究者可以對(duì)圖像的像素加以肉眼無法識(shí)別的微小改動(dòng)，模型就會(huì)因此被愚弄和攻擊。

而李博想要知道的是，模型的對(duì)抗攻擊在現(xiàn)實(shí)物理世界中是否也會(huì)發(fā)生？

當(dāng)時(shí)已經(jīng)有不少研究者都提出了這個(gè)重要疑問，但還沒有人真的去做驗(yàn)證。李博對(duì)這個(gè)有趣又有挑戰(zhàn)性的問題躍躍欲試，決定選取自動(dòng)駕駛的 AI 系統(tǒng)對(duì)路標(biāo)的視覺識(shí)別作為證明角度。

一般情況下，如果一個(gè) AI 模型在大多數(shù)條件下都管用，比方說 90%，那這個(gè)模型就已經(jīng)足夠好了；但在性命攸關(guān)的自動(dòng)駕駛場景中，90% 是遠(yuǎn)遠(yuǎn)不夠的。自動(dòng)駕駛系統(tǒng)的安全性不足一直是這個(gè)行業(yè)的痛點(diǎn)，即使攻擊者無法攻破系統(tǒng)的「圍墻」，但仍可能通過對(duì)物理對(duì)象進(jìn)行物理性改動(dòng)來干擾系統(tǒng)，比如停車標(biāo)志牌上的圖案被人為地涂抹、破壞后，可能會(huì)被系統(tǒng)錯(cuò)誤地識(shí)別成限速標(biāo)志牌，而車輛的每一次剎車或加減速的決策都需要絕對(duì)的安全，否則就有可能釀成慘劇。

因此，弄清楚 AI 系統(tǒng)的易受攻擊之處，并了解它為何會(huì)被攻擊、如何被攻擊，進(jìn)而提高模型的魯棒性、最終提升自動(dòng)駕駛系統(tǒng)的安全度，這些都是亟待解決的難題。

然而，要想證明物理世界中的模型同樣會(huì)有被攻擊的潛在危險(xiǎn)，并不像在數(shù)字世界中那樣容易。路標(biāo)這樣的物理對(duì)象使對(duì)抗性攻擊變得更加復(fù)雜，路標(biāo)所處環(huán)境的多變性，光照、天氣、地面清潔度、距離等因素都會(huì)影響生成物理對(duì)抗樣本的魯棒性。因此，李博和她的團(tuán)隊(duì)設(shè)計(jì)了新的優(yōu)化方法來完成對(duì)黑盒 AI 系統(tǒng)的物理攻擊。

李博帶上團(tuán)隊(duì)里的幾個(gè)博士生，去各種場地拍攝了大量的路牌照片來訓(xùn)練模型。他們在停車牌上模擬人的隨手涂鴉，貼上黑色或白色的小塊貼紙，并且不遮擋路牌上 “STOP” 或右轉(zhuǎn)向箭頭的整體樣式。

這些貼紙看似隨意，但卻是經(jīng)過精心設(shè)計(jì)的物理干擾，當(dāng)人類司機(jī)看到這樣的路牌時(shí)，基本上不會(huì)認(rèn)錯(cuò)，但若是一輛自動(dòng)駕駛汽車向一個(gè)寫著“STOP SIGN”的路牌駛近，攝像頭的感知系統(tǒng)就會(huì)將它們誤認(rèn)為是 45 英里/小時(shí)的限速標(biāo)志牌，而不會(huì)立即停車。另外，右轉(zhuǎn)向路牌也會(huì)被錯(cuò)誤識(shí)別為停車路牌。

實(shí)驗(yàn)顯示，無論拍攝標(biāo)志牌的距離和角度如何，在所有場景下，對(duì)自動(dòng)駕駛車輛系統(tǒng)的物理攻擊都是成功的！

掌握了關(guān)于這些可能存在的攻擊信息后，研究者就可以制定策略來訓(xùn)練出更強(qiáng)大的模型。李博在攻擊者和防御者之間建立博弈模型，讓 AI 系統(tǒng)相互對(duì)抗，使用一個(gè)神經(jīng)網(wǎng)絡(luò)來識(shí)別和利用另一個(gè)系統(tǒng)的漏洞。這樣一個(gè)過程可以讓目標(biāo)網(wǎng)絡(luò)的訓(xùn)練所具有的缺陷都顯露出來，然后就能有效地去修補(bǔ)這些缺陷、防御潛在的攻擊。

李博和她的合作者成功地向人們表明，圖像分類系統(tǒng)對(duì)物理對(duì)象的對(duì)抗性擾動(dòng)具有很強(qiáng)的敏感性，這種敏感性在真實(shí)世界中的潛在后果是不堪設(shè)想的。

如李博所期望的那樣，這項(xiàng)研究喚起了人們對(duì)物理學(xué)習(xí)系統(tǒng)可能面臨攻擊這個(gè)事實(shí)的重視。不僅在學(xué)術(shù)界引起熱議，而且?guī)砹艘徊üI(yè)界的研究熱情。IBM 受到該研究啟發(fā)，開發(fā)了類似的技術(shù)為其「初代 AI 界老大哥」 Watson AI 系統(tǒng)提供安全保障。亞馬遜將該研究成果運(yùn)用到智能音箱 Alexa 中。還有一些自動(dòng)駕駛汽車公司，也在使用該研究來提高機(jī)器學(xué)習(xí)模型的魯棒性。

這項(xiàng)工作的影響力之大，還吸引了英國倫敦科技博物館的目光。2019年6月，博物館正在策劃一次藏品展出，鑒于該研究所具有的時(shí)代意義，他們聯(lián)系到李博的團(tuán)隊(duì)，買下了對(duì)抗路標(biāo)實(shí)物，將其存放在永久收藏柜里。

圖注：英國科技博物館展出李博團(tuán)隊(duì)生成的對(duì)抗性路標(biāo)

今天，這塊路牌仍然被陳列在這座有著一百五十多年歷史的老博物館里。在可信機(jī)器學(xué)習(xí)的新浪潮下，它仿佛一朵激揚(yáng)的大浪花，向世人警醒著：AI 技術(shù)一次次地經(jīng)歷著令人驚嘆的更新?lián)Q代，但「水滿則溢」，技術(shù)背后的安全隱患也已經(jīng)到了不能再假裝其不存在的地步。

「通過設(shè)計(jì)新方法來『愚弄』 AI ，從而使 AI 變得更安全」，這是李博在 2020 年憑借這項(xiàng)成果入選 MIT 科技評(píng)論「 35 歲以下的 35 位技術(shù)創(chuàng)新者」全球榜單的理由。31歲的她，在對(duì)抗機(jī)器學(xué)習(xí)領(lǐng)域已經(jīng)做出了引領(lǐng)性的出色研究。

結(jié)束了一年的博士后研究，李博回到 UIUC 正式開始執(zhí)教生涯、繼續(xù)創(chuàng)造新的科研突破。

在先前關(guān)于對(duì)抗攻擊策略的研究的基礎(chǔ)上，她提出了一系列新方法來提高 AI 系統(tǒng)的魯棒性。比如利用數(shù)據(jù)的時(shí)域相關(guān)性和空間相關(guān)性來檢測惡意樣本。她利用時(shí)域相關(guān)性去檢測惡意音頻樣本的工作被收錄在 ICLR 2019，后來還被 IBM 應(yīng)用在 Watson 語音識(shí)別系統(tǒng)中。在利用空間相關(guān)性來檢測惡意對(duì)抗圖像樣本方面，李博也提出了第一個(gè)可以有效抵抗自適性攻擊的惡意樣本識(shí)別算法。

圖注：利用時(shí)域連續(xù)性檢測惡意語音樣本

圖注：利用空間連續(xù)性檢測惡意圖像

為了生成更加有效的對(duì)抗樣本，李博進(jìn)一步提出了「對(duì)抗神經(jīng)網(wǎng)絡(luò)」，在  MNIST  對(duì)抗攻擊挑戰(zhàn)賽（Adversarial Attack Challenge） 的排行榜上獲得了 Top 1 的成績，這再次證明了她提出的「對(duì)抗樣本建?！乖瓌t的價(jià)值與可行性。同時(shí)，在視覺任務(wù)上，李博引入一種「無限制對(duì)抗性攻擊」的方法，通過修改圖像的顏色、紋理等細(xì)節(jié)來對(duì) AI 系統(tǒng)成功實(shí)現(xiàn)了攻擊，并設(shè)立了評(píng)估機(jī)器學(xué)習(xí)系統(tǒng)對(duì)抗各種攻擊的魯棒性的基準(zhǔn)。

在機(jī)器學(xué)習(xí)模型的隱私保護(hù)上，李博也再次交出了「第一」的答卷。她和團(tuán)隊(duì)提出的 DataLens 模型第一次實(shí)現(xiàn)了高維連續(xù)數(shù)據(jù)的具有隱私保證的數(shù)據(jù)生成。這項(xiàng)工作不僅證明了生成數(shù)據(jù)滿足差分隱私的要求，還首次在理論上證明了這類生成模型的收斂性，系統(tǒng)地分析了系統(tǒng)效率和生成數(shù)據(jù)質(zhì)量之間的權(quán)衡問題。

圖注：具有差分隱私保證的高維數(shù)據(jù)生成模型

相關(guān)論文地址：

https://arxiv.org/pdf/1810.05162.pdf

https://arxiv.org/pdf/1904.06347.pdf

https://arxiv.org/pdf/2103.11109.pdf

3 可信 AI的未來：引入邏輯推理

如今，“可信機(jī)器學(xué)習(xí)/可信人工智能”成為一個(gè)熱門的研究領(lǐng)域，魯棒性、隱私性、公平性、可解釋性是可信機(jī)器學(xué)習(xí)的四個(gè)核心構(gòu)成，每個(gè)方面都有許多學(xué)者在探索鉆研。李博在 UIUC 領(lǐng)導(dǎo)的「安全學(xué)習(xí)實(shí)驗(yàn)室」小組也正在致力于解決這些子問題。

圖注：李博與實(shí)驗(yàn)室的學(xué)生合影

李博的課題組目前主要開展的工作包括：

可驗(yàn)證的魯棒性機(jī)器學(xué)習(xí)：優(yōu)化機(jī)器學(xué)習(xí)模型以對(duì)抗惡意攻擊，并提供可驗(yàn)證的魯棒性。

具有隱私保護(hù)的機(jī)器學(xué)習(xí)和數(shù)據(jù)分析：探索差分隱私、同態(tài)加密和信息理論分析等技術(shù)，在實(shí)踐中實(shí)現(xiàn)隱私保護(hù)。

機(jī)器學(xué)習(xí)的泛化性：基于泛化性與魯棒性、隱私性之間的聯(lián)系，通過優(yōu)化其他屬性來改進(jìn)機(jī)器學(xué)習(xí)的泛化性能。

在李博看來，這些問題之間緊密相關(guān)：「經(jīng)過幾年研究，我深深地體會(huì)到這些子問題之間其實(shí)不是相互獨(dú)立的，它們之間有很本質(zhì)的內(nèi)在聯(lián)系。」

例如，他們證明了在聯(lián)邦學(xué)習(xí)中，如果模型滿足差分隱私，那么它的魯棒性也可以被表示為隱私對(duì)應(yīng)的參數(shù)；此外，機(jī)器學(xué)習(xí)模型的魯棒性和模型泛化性在滿足某些條件下是可以互為充分條件的。

圖注：魯棒性、隱私性、泛化性之間的關(guān)系

目前的可信機(jī)器學(xué)習(xí)還未對(duì)這些子問題之間的互相關(guān)聯(lián)予以太多關(guān)注，但李博相信，如果可以更多地發(fā)掘這些子問題之間本質(zhì)性的關(guān)聯(lián)，我們就不必重造車輪，而是可以利用一些子問題的研究成果來提供更多原則和理論基礎(chǔ)，給其他可信機(jī)器學(xué)習(xí)的子問題帶來解決方案。若只單獨(dú)研究其中的每一個(gè)，就會(huì)產(chǎn)生重復(fù)性勞動(dòng)，也很難發(fā)現(xiàn)最基礎(chǔ)、最本質(zhì)的問題。

秉持著這種研究思路，李博對(duì)于課題組內(nèi)博士生科研方向的「排兵布陣」也是考慮良多。興趣優(yōu)先，因材施教，組里11個(gè)博士生在可信機(jī)器學(xué)習(xí)的大框架下做著不同方向的研究，有的專攻可驗(yàn)證魯棒性，有的研究自然語言處理方向的魯棒性和隱私性問題，還有的學(xué)生是從聯(lián)邦學(xué)習(xí)的角度來做魯棒性和隱私性研究，這樣大家就可以展開很多有效的合作。

圖注：在李博教授的Trustworthy Machine Learning課程期末，博士生展示項(xiàng)目海報(bào)

最近，在可信機(jī)器學(xué)習(xí)的研究上，李博又邁出了關(guān)鍵的一步?；谶@幾年對(duì)相關(guān)問題的深入思考，她正在探索一種新的方法論——基于邏輯推理的可信機(jī)器學(xué)習(xí)。在李博看來，這就是可信機(jī)器學(xué)習(xí)的未來。

幾乎沒有模型不會(huì)被攻擊，問題是，如何防御攻擊？近年來，防御攻擊的工作正在面臨一個(gè)難題：當(dāng)我們檢測到攻擊時(shí)，會(huì)研究相應(yīng)的防御攻擊的手段；然而，新的攻擊形式很快又會(huì)出現(xiàn)，這就需要我們再去找出新的防御方法......所謂「道高一尺，魔高一丈」，攻擊防不勝防。這樣的循環(huán)什么時(shí)候才是盡頭？

李博認(rèn)為，可驗(yàn)證的魯棒性能夠終止這種「攻防循環(huán)」。

那么，機(jī)器學(xué)習(xí)魯棒性的可驗(yàn)證性有什么用？

李博介紹，在某些攻擊條件下，可驗(yàn)證性本質(zhì)上可以為模型的精度設(shè)置一個(gè)下限。比如針對(duì)某種攻擊的防御手段，其下限為90%，那么就能保證模型的精度不會(huì)下降到這個(gè)數(shù)字以下。也就是說，無論攻擊者使出什么招數(shù)，只要攻擊防御不超過這個(gè)界限，就能保證模型的性能。

總體上，可驗(yàn)證魯棒性有兩種研究范式，一種是決定論的，另一種是概率論的，兩種角度下各有許多不同的細(xì)分路徑。但整體來說，它們?nèi)源嬖谝粋€(gè)缺點(diǎn)，即攻擊的條件非常有限，目前只能去驗(yàn)證很小一部分的防御方法。

圖注：可驗(yàn)證魯棒性的研究路徑

推理，是李博提供給這個(gè)問題的解決思路。

目前，幾乎所有的機(jī)器學(xué)習(xí)模型都是純數(shù)據(jù)驅(qū)動(dòng)的，人類的先驗(yàn)知識(shí)、經(jīng)驗(yàn)、推理等信息都沒有被建立模型。這種現(xiàn)狀可以說是深度學(xué)習(xí)革命的大獲成功所帶來的。在2019年的圖靈獎(jiǎng)演講中，Geoffrey Hinton 曾談到了兩種使計(jì)算機(jī)智能化的方法。其一，他稱之為「智能設(shè)計(jì)」，即將特定任務(wù)的知識(shí)傳授給計(jì)算機(jī)；其二，便是「學(xué)習(xí)」，即人類只向計(jì)算機(jī)提供示例。話里話外，Hinton 都表達(dá)了他對(duì)第一種方法的否定。

但不得不承認(rèn)，已有的提高模型魯棒性所使用的統(tǒng)計(jì)方法已經(jīng)遇到了一個(gè)瓶頸，有必要引入一些顯性信息，如域知識(shí)、邏輯推理等。比如在“Stop Sign”這項(xiàng)研究中，人類基于生活經(jīng)驗(yàn)，很容易就能從路牌圖案的整體輪廓中判斷出它是不是一個(gè)停車標(biāo)志，但模型卻并不具備這種能力。

因此，李博想到，若能使用邏輯推理來幫助模型，就能獲得更好的魯棒性。我們可以用知識(shí)限定攻擊條件和場景，比如「在中國車輛靠右行駛」這樣的生活常識(shí)，以及「如果一個(gè)人在橫穿馬路，車輛行到跟前不停下的話，會(huì)發(fā)生什么？」這樣的因果推理知識(shí)。

李博告訴 AI 科技評(píng)論，目前，她的團(tuán)隊(duì)已經(jīng)有一些正在進(jìn)行的項(xiàng)目在實(shí)踐這種方案，比如用馬爾科夫邏輯網(wǎng)絡(luò)（Markov Logic Networks）來將一階邏輯表達(dá)出來，然后利用概率圖模型（Probabilistic Graphical Models ）做推理，從而發(fā)現(xiàn)并自動(dòng)糾正純統(tǒng)計(jì)型模型（Statistical Model ）被攻擊的預(yù)測。

他們的研究表明，將人的知識(shí)、推理邏輯與純數(shù)據(jù)驅(qū)動(dòng)的模型結(jié)合起來，確實(shí)可以大幅度提高圖像和NLP模型的可驗(yàn)證魯棒性，即使是在大規(guī)模數(shù)據(jù)集上效果也非常好。

圖注：感知-推理示例，感知組件由用于其子任務(wù)的不同神經(jīng)網(wǎng)絡(luò)組成，推理組件是一個(gè)因子圖。

可信機(jī)器學(xué)習(xí)涵蓋機(jī)器學(xué)習(xí)的方方面面。在 NLP 任務(wù)中，可信機(jī)器學(xué)習(xí)可以解決錯(cuò)誤分詞、錯(cuò)誤翻譯等問題；在視覺方面，可信機(jī)器學(xué)習(xí)則旨在確保模型具有準(zhǔn)確的預(yù)測能力，且不會(huì)被微小的惡意擾動(dòng)所攻擊；在聯(lián)邦學(xué)習(xí)中，可信機(jī)器學(xué)習(xí)則更關(guān)注如何解決中心模型被惡意用戶破壞的問題。這些不同任務(wù)有著共同的底層邏輯，那便是預(yù)防在訓(xùn)練或者判斷階段中的惡意攻擊，保障模型的魯棒性和數(shù)據(jù)的隱私性。

所以，李博對(duì)可驗(yàn)證魯棒性的關(guān)注也自然地延伸到這些不同的機(jī)器學(xué)習(xí)任務(wù)當(dāng)中，做了一些有益的探索。比如她的團(tuán)隊(duì)提出了針對(duì)聯(lián)邦學(xué)習(xí)和自動(dòng)駕駛中激光雷達(dá)點(diǎn)云識(shí)別的可驗(yàn)證魯棒性，為可驗(yàn)證AI提供了在真實(shí)世界場景中的可行性。

圖注：聯(lián)邦學(xué)習(xí)的可驗(yàn)證魯棒性

圖注：激光雷達(dá)點(diǎn)云識(shí)別的可驗(yàn)證魯棒性

在開發(fā)算法和可驗(yàn)證方法論的同時(shí)，李博和她的團(tuán)隊(duì)也為社區(qū)貢獻(xiàn)了各種基準(zhǔn)來幫助訓(xùn)練和評(píng)估針對(duì)不同任務(wù)的算法。例如，他們提出了針對(duì)自然語言的大型可信基準(zhǔn) AdvGlue、針對(duì)強(qiáng)化學(xué)習(xí)算法的可驗(yàn)證魯棒性基準(zhǔn) CROP、 COPA ，以及針對(duì)自動(dòng)駕駛真實(shí)場景的安全測試場景基準(zhǔn) SafeBench 等等?！竎urrently data is the oil in the modern world，所以不同的benchmark也會(huì)更有效的提高可信AI的生產(chǎn)力」，李博這樣解釋這些工作的動(dòng)機(jī)。

圖注：對(duì)抗自然語言基準(zhǔn)（地址：https://adversarialglue.github.io）

圖注：自動(dòng)駕駛惡意場景基準(zhǔn)（地址：https://safebench.github.io/leaderboard/index.html）

4 人工智能，福兮

AI 的終極歸宿是應(yīng)用在真實(shí)世界，造福人類，李博的研究都來源于、扎根在且落回到真實(shí)世界中。

在工業(yè)界，有許多機(jī)器學(xué)習(xí)模型應(yīng)用于真實(shí)世界，所以安全性是工業(yè)界也同樣非常重視的問題。李博在這方面與工業(yè)界保持著積極合作，比如亞馬遜的欺詐檢測模型、Facebook廣告推薦系統(tǒng)的隱私保護(hù)、eBay的交易圖等等。

另外，她也與國內(nèi)的互聯(lián)網(wǎng)公司如百度、騰訊、螞蟻等有過魯棒性和隱私性方面的合作。比如，在與螞蟻的可信 AI 研究團(tuán)隊(duì)的合作中，為了測試他們的人臉識(shí)別系統(tǒng)的易受攻擊性，李博團(tuán)隊(duì)設(shè)計(jì)算法，在螞蟻提供的API上進(jìn)行評(píng)估，發(fā)現(xiàn)系統(tǒng)果然可以被攻擊。她進(jìn)而提出一些防御攻擊的方案，在螞蟻的平臺(tái)上實(shí)現(xiàn)相應(yīng)的算法，以防止人臉識(shí)別系統(tǒng)遭受惡意攻擊，最終收獲了不錯(cuò)的效果。

在可信機(jī)器學(xué)習(xí)領(lǐng)域深耕數(shù)年，李博的卓越成就已經(jīng)為她贏得了許多榮譽(yù)獎(jiǎng)項(xiàng)，比如亞馬遜網(wǎng)絡(luò)服務(wù)機(jī)器學(xué)習(xí)研究獎(jiǎng)、 Facebook 研究獎(jiǎng)、NSF CAREER 獎(jiǎng)、英特爾新星獎(jiǎng)等等。

今年 2 月，因?yàn)樵诳尚艡C(jī)器學(xué)習(xí)領(lǐng)域的杰出工作，李博獲得了具有「諾貝爾獎(jiǎng)風(fēng)向標(biāo)」之稱的斯隆研究獎(jiǎng)。值得注意的是，與她一同獲獎(jiǎng)的還有另外三位人工智能領(lǐng)域的華人女性科學(xué)家，她們分別是陳丹琦、方飛和宋舒然。

李博對(duì)女性科研工作者的影響力不斷擴(kuò)大感到欣慰：「其實(shí)我的組里就有蠻多女生的，我一直覺得女生很能夠focus，如果認(rèn)真做（科研）的話，我覺得可以做得很好，所以我蠻鼓勵(lì)女性學(xué)者能夠不要在意周圍的眼光，如歲數(shù)大之類的評(píng)價(jià)，就去做自己喜歡做的事情，不要太在意別人，我覺得你就可以做得很好。我覺得女生和男生在科研能力上沒有什么差別。」

就在上個(gè)月，身為 AI 領(lǐng)域杰出青年科學(xué)家的李博，還被授予 IJCAI 2022 年計(jì)算機(jī)與思想獎(jiǎng)，以表彰她在機(jī)器學(xué)習(xí)魯棒性方面的貢獻(xiàn)，包括發(fā)現(xiàn) AI 魯棒性、隱私性和泛化性之間的內(nèi)在聯(lián)系，揭示各種模型的易受攻擊性，以及提出數(shù)學(xué)方法來彌補(bǔ)模型的漏洞，為機(jī)器學(xué)習(xí)模型和隱私保護(hù)提供魯棒性保障。

未來，李博將繼續(xù)她在可信機(jī)器學(xué)習(xí)領(lǐng)域的探索，為 AI 在真實(shí)世界中的應(yīng)用保駕護(hù)航。（公眾號(hào)：雷峰網(wǎng)）

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。