雷鋒網(wǎng)編者按：AIoT即AI+IoT，指人工智能技術(shù)與物聯(lián)網(wǎng)在實(shí)際應(yīng)用中的落地融合。AI與IoT融合領(lǐng)域近年來一片火熱，不論是資本市場，還是大眾創(chuàng)業(yè)，無不對(duì)其表現(xiàn)出極大的熱情。但是AIoT的生態(tài)安全現(xiàn)狀卻不容樂觀。在雷鋒網(wǎng)12月20日舉辦的「AIoT+智慧城市峰會(huì)」上，百度AI安全技術(shù)總監(jiān)聶科峰帶來了《構(gòu)建智慧城市的基石：AIoT安全》的演講。

以下為聶科峰演講實(shí)錄，雷鋒網(wǎng)做了不改變?cè)獾木庉嬚怼?/strong>

聶科峰：謝謝雷鋒網(wǎng)的邀請(qǐng)，在AIoT一片大好的情況下，讓我們說一說對(duì)未來的擔(dān)憂。剛才騰訊和華為的同學(xué)都講到智慧城市在很多維度都開始有應(yīng)用了，但是對(duì)于我們來說，未來大規(guī)模應(yīng)用必須得以安全作為基石。

半年前我就講過AIoT的安全，那時(shí)候講AIoT，很多人還不太明白什么叫AIoT，其實(shí)就是AI+IoT。我花了很大板塊來講，而這半年這個(gè)詞已經(jīng)非?；稹?/p>

但我這里要直觀地分享我的理解?，F(xiàn)在在整個(gè)智慧里用得最多的點(diǎn)，包括智慧交通、攝像頭的應(yīng)用、人臉識(shí)別的應(yīng)用，都是基于攝像頭的應(yīng)用。最早我們使用攝像頭，是用存儲(chǔ)卡記錄和監(jiān)控，這屬于非常傳統(tǒng)的電子產(chǎn)品；而有一天基于帶寬的發(fā)展，攝像頭可以實(shí)時(shí)傳到網(wǎng)上去了，這就變化成了物聯(lián)網(wǎng)產(chǎn)品。

什么叫AI+IoT？可能是監(jiān)控過程中我們加入了對(duì)監(jiān)控內(nèi)容的AI分析，并且能給出實(shí)時(shí)反饋，還能做一些事情，比如監(jiān)測(cè)到一個(gè)壞人可能會(huì)報(bào)警，比如流量控制改變紅綠燈設(shè)計(jì)，這在未來都是AIoT所帶來的應(yīng)用。

但是我們想想安全問題，如果是電子存儲(chǔ)的SD卡，只是記錄整個(gè)過程，我們所做的安全就是要防止把卡偷走。在物聯(lián)網(wǎng)時(shí)代我們考慮網(wǎng)絡(luò)安全，是要防止實(shí)時(shí)的數(shù)據(jù)，可能被別人監(jiān)控到，或者一些隱私的數(shù)據(jù)被拿到。但是AI完全不一樣，因?yàn)锳IoT它會(huì)去分析，去判斷，去做動(dòng)作，去干擾整個(gè)事情的過程，這時(shí)候安全非常重要，它承擔(dān)了采集離線分析，云端分析。我們需要做一些事情，去關(guān)注未來惡意執(zhí)行這方面帶來的風(fēng)險(xiǎn)。

從整個(gè)AIoT來看，我們認(rèn)為生態(tài)安全是非常不樂觀的。

像攝像頭有很多安全問題，我們也監(jiān)測(cè)到有很多安全案例發(fā)生在目前的這些設(shè)備當(dāng)中。包括基于指紋，基于攝像頭的都能被破解?？梢钥吹皆谶@個(gè)生態(tài)演變的過程中，有一個(gè)時(shí)代的變遷，從PC到移動(dòng)再到AIoT，它的根基是生態(tài)的碎片化愈加嚴(yán)重。

PC時(shí)代只有微軟一家獨(dú)大，芯片也只有英特爾一家。移動(dòng)設(shè)備上有iOS和安卓，基于芯片和系統(tǒng)的不同，所帶來的安全風(fēng)險(xiǎn)會(huì)有幾何數(shù)量的增加。到AIoT，這更是非常雜亂的過程，從芯片到系統(tǒng)等等，更是非常大的生態(tài)，碎片化帶來的問題就是基于此的安全非常具有挑戰(zhàn)性。

各個(gè)廠商和上游都在推自己的產(chǎn)品，可能外觀看上去差不多，但是你問他的硬件版本，參數(shù)選型，完全不一樣，即使一套同樣的方案都可能在產(chǎn)品上產(chǎn)生不同的價(jià)值。

我們剛才看到有各種芯片廠商，目前沒有一家是完全打通的，每一個(gè)都是可以排列組合的，所以導(dǎo)致我們?cè)谶@方面面臨的風(fēng)險(xiǎn)會(huì)更高。

從我們的角度來看，AIoT整個(gè)系統(tǒng)安全挑戰(zhàn)有兩塊，一塊是傳統(tǒng)的基于IoT設(shè)備本身需要聯(lián)網(wǎng)，需要系統(tǒng)，本身就存在潛在的系統(tǒng)和網(wǎng)絡(luò)風(fēng)險(xiǎn)。更重要的是加入了AI之后，AI帶來新的風(fēng)險(xiǎn)，我們可以看到傳感器欺騙，這是AI與視覺相關(guān)的；軟件缺陷有開源、第三方的、基于機(jī)器學(xué)習(xí)的，本身有很多漏洞，這些漏洞帶來的缺陷也會(huì)影響AI在IoT應(yīng)該發(fā)生的正確反應(yīng)；還有基于大數(shù)據(jù)的污染；而系統(tǒng)風(fēng)險(xiǎn)和網(wǎng)絡(luò)風(fēng)險(xiǎn)這就是非常傳統(tǒng)的，移動(dòng)和PC時(shí)代都會(huì)面臨的問題。

所以AIoT安全是有新仇舊恨的。新仇就是IoT本身計(jì)算力比較弱，之前大家對(duì)這一塊安全關(guān)注度不夠，本身就有很多問題，重點(diǎn)可能是在網(wǎng)絡(luò)，在系統(tǒng)上的問題。附加AI之后，基于數(shù)據(jù)采集、數(shù)據(jù)傳輸、數(shù)據(jù)分析、數(shù)據(jù)反饋，這個(gè)過程中又會(huì)帶來很多新的問題，現(xiàn)在所謂的AI安全，大部分人是在強(qiáng)化AI攻擊或者數(shù)據(jù)攻擊和模型攻擊的事情。

但是從結(jié)果來看，這一塊是存在很多問題的，去年，我們的同學(xué)就已經(jīng)可以突破當(dāng)時(shí)的人臉識(shí)別，當(dāng)時(shí)是國外的一款手機(jī)用了人臉識(shí)別解鎖技術(shù)，我們構(gòu)造了一個(gè)條件就可以突破掉?？梢钥吹竭@個(gè)Stop非常經(jīng)典的圖，在很多講人工智能AI的大會(huì)上都能看到，基于小的數(shù)據(jù)污染就能讓AI形成非常錯(cuò)誤的結(jié)論。

所以在這個(gè)挑戰(zhàn)中我們相信，除了系統(tǒng)的碎片化和整個(gè)生態(tài)的復(fù)雜度之外，在傳統(tǒng)安全，系統(tǒng)、網(wǎng)絡(luò)、云端都很有可能快速把之前的經(jīng)驗(yàn)復(fù)制過去。但是AI上的挑戰(zhàn)是非常持續(xù)的，這方面也是整個(gè)行業(yè)，包括學(xué)術(shù)界不斷的投入。

AI的不確定性，目前訓(xùn)練出來的模型都是黑盒子，未來數(shù)據(jù)能不能給出正確答案，可能只有70%，80%，90%，都是相對(duì)性的結(jié)論，這個(gè)結(jié)論是沒有辦法人為干預(yù)的，只有我們不斷調(diào)整這個(gè)參數(shù)。這過程中我們做一些干擾的數(shù)據(jù)，做一些數(shù)據(jù)流攻擊，甚至是模型層面做模型反逆向做模型滲透等等，這就導(dǎo)致我們的識(shí)別結(jié)果可能在模糊地帶，有可能是一個(gè)小的像素的粘貼，就導(dǎo)致結(jié)果從A跳到了B。

有幾大基于機(jī)器學(xué)習(xí)的攻擊，一個(gè)是物理世界的攻擊，現(xiàn)在很多做語音識(shí)別的，我可能是模擬一段語音或者發(fā)起一段語音，這可能是被識(shí)別成惡意指令，可以做一些動(dòng)作。所以接受AI之后可以做響應(yīng)，圖片也是一樣，我們可以用物理的圖片加干擾，做這個(gè)模型可能會(huì)得到完全不一樣的結(jié)果，白盒是做模型內(nèi)部的細(xì)節(jié)，目前來看是屬于比較高級(jí)的攻擊方式。

百度在這方面做了一些實(shí)驗(yàn)，針對(duì)語音識(shí)別的機(jī)器學(xué)習(xí)對(duì)抗已經(jīng)有一些成果，我們可以模擬出類似于一段海豚音，讓機(jī)器識(shí)別出來，但是人是聽不見的，安靜的環(huán)境沒有接收到任何指令。但是通過攻擊性語音，讓機(jī)器可以識(shí)別，機(jī)器做出相應(yīng)的反饋和指令，可以達(dá)到攻擊的過程。同時(shí)還有基于語音的喚醒機(jī)器，可以做到隱匿語音喚醒，喚醒之后所有的隱私就可能被暴露出來，這都是未來基于AI的攻擊點(diǎn)。

要系統(tǒng)性的解決AI的安全問題，需要從三個(gè)方面來處理，還是要做好整個(gè)的安全評(píng)估，再有一定的方案做安全保障，最重要的是建立起非常及時(shí)的安全響應(yīng)機(jī)制和通道。因?yàn)榘踩珡膩矶疾皇且诲N子買賣，是一個(gè)持續(xù)的攻防對(duì)抗過程，所以這個(gè)過程中，持續(xù)的響應(yīng)是未來非常重要的一點(diǎn)。

在AIoT設(shè)備中涉及到云、管、端和數(shù)據(jù)相關(guān)，不同層面要提供不同的安全保障。

在安全評(píng)估上，我們?cè)谕菩袠I(yè)安全基準(zhǔn)，包括跟信通院，對(duì)一些具體場景，比如音箱、攝像頭等。我希望未來上市的所有智能設(shè)備，基于AIoT的設(shè)備，上市之前都有一個(gè)基準(zhǔn)的安全評(píng)估，能夠在設(shè)備傳輸和AI幾個(gè)點(diǎn)符合基礎(chǔ)的標(biāo)準(zhǔn)，這樣就大大降低未來可攻擊性。

從我們跟信通院建立的標(biāo)準(zhǔn)來看，目前通過我們建立的安全評(píng)估點(diǎn)和安全設(shè)備，使整個(gè)安全狀況有明顯提升。在硬件和固件層面都提供了很多的威脅點(diǎn)，未來很多的設(shè)備都會(huì)有相應(yīng)的標(biāo)準(zhǔn)來降低未來潛在的風(fēng)險(xiǎn)。

我們也提供了一些專業(yè)工具可以輔助大家做評(píng)估，比如說百度的Advbox，是專門針對(duì)AI的安全工具，第一是可以對(duì)你的安全模型做健壯性和基礎(chǔ)性測(cè)試。另外可以提供對(duì)抗樣本來訓(xùn)練你的模型，使你的模型加固。第三是我們可以讓你去了解對(duì)抗樣本，這是基于開源的平臺(tái)，大家在AI上可以檢測(cè)這些功能。在IoT上我們也提供了一些端上的檢測(cè)工具，第一時(shí)間可以非常方便發(fā)現(xiàn)存在的風(fēng)險(xiǎn)和漏洞，在整個(gè)設(shè)備出廠之前就能感知到風(fēng)險(xiǎn)。

安全保障這一塊我們也分了幾大塊，云端防護(hù)思路是非常重要的。特別是基于語音、攝像頭，剛才說的AI會(huì)導(dǎo)致行為錯(cuò)亂，但是云端的措施沒做好會(huì)導(dǎo)致隱私的泄露。從國家層面到大眾對(duì)這方面都有強(qiáng)感知，所以基于這些設(shè)備我們要做基于網(wǎng)絡(luò)安全的風(fēng)險(xiǎn)部署，協(xié)議通訊這一塊希望所有的設(shè)備能夠做基于SSL、TLS的加密，包括DNS方面，我們之前存在很多DNS被劫持的場景。劫持之后可能內(nèi)容會(huì)轉(zhuǎn)變?yōu)榈谌缴踔翉V告等等，我們希望能夠有安全的DNS服務(wù)去做保障，這一整套通訊層面的安全，最重要的是保證我們的數(shù)據(jù)傳輸是安全的，隱私不會(huì)被泄露。

對(duì)設(shè)備端的保護(hù)，因?yàn)橄到y(tǒng)非常碎片化，我們要做大量的工作，基于不同的版本做不同的安全措施，但是系統(tǒng)這一塊最重要的分幾塊去做：第一，安全狀態(tài)本身要有感知能力，需要做一些監(jiān)測(cè)，包括系統(tǒng)可能被利用了，這些自感知能力很重要；第二我們本身能夠有一些惡意判斷的應(yīng)用，包括在安卓的場景，都會(huì)有利用惡意應(yīng)用來攻擊場景出現(xiàn)；另外漏洞這一塊需要持續(xù)關(guān)注，對(duì)漏洞要及時(shí)響應(yīng)，否則可能會(huì)被利用。同時(shí)跟第三方媒介的接觸要做較強(qiáng)的校驗(yàn)和認(rèn)證。

安全響應(yīng)考慮到的是便捷性，所以響應(yīng)一定要有一條設(shè)備和云端的通道。這條通道是設(shè)備的生命線，可以更新設(shè)備的特性和性能，優(yōu)化我們的體驗(yàn)，同時(shí)可以做安全最重要、最快速的下發(fā)通道，包括OTA的安全，是我們的生命線。

在很多行業(yè)推出的響應(yīng)手段，是針對(duì)漏洞可以做一些自適應(yīng)的修復(fù)，這會(huì)極大的提升我們?cè)贏IoT這個(gè)行業(yè)里對(duì)漏洞的響應(yīng)能力。因?yàn)橐粋€(gè)漏洞可能跨十個(gè)版本，可能IoT里十個(gè)版本部署在幾十個(gè)產(chǎn)品線上，如果有一個(gè)高危漏洞出現(xiàn)，可能我們要做幾十次封裝和下發(fā)。這是非常繁重和有成本的操作，因此現(xiàn)在很多廠商不太關(guān)注。但是如果有自適應(yīng)的修復(fù)能力，我們?cè)趦?nèi)核做自適應(yīng)接入，未來所有的設(shè)備只需要一個(gè)小的Patch就能解決問題，極大的提升安全的聯(lián)動(dòng)和響應(yīng)機(jī)制。

百度針對(duì)之前的問題也做了很多實(shí)踐，從云、管、端都提供了方式和手段。云端我們DDos防護(hù)還有Web漏洞防護(hù)，都有廣泛的應(yīng)用。還有在AI學(xué)習(xí)這一塊有對(duì)抗樣本工具，通訊這一塊提供了Mesalink，基于SSL的加密通訊的機(jī)制。DNS反劫持上，百度開放了搜索多年DNS劫持上的經(jīng)驗(yàn)，端上這一塊我們也有非常強(qiáng)的包括安全OTA、熱修復(fù)機(jī)制等等，我們會(huì)提供云管端一體系的安全解決方案，目前在小度和車中都已經(jīng)應(yīng)用，以及外面很多AIoT廠商也不斷與我們合作應(yīng)用落地,如創(chuàng)維、康佳、暴風(fēng)等。我們跟整體AIoT生態(tài)的合作伙伴一起打造安全生態(tài)，希望未來做到越智能越安全。謝謝大家。

峰會(huì)演講視頻全集稍后將在雷鋒網(wǎng)會(huì)員【AI投研邦】里推出，并及時(shí)通知大家。大家可關(guān)注【AI投研邦】二維碼。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。