0
| 本文作者： 李勤 | 2019-06-16 09:23 |
雷鋒網(wǎng)編者按：AI 已經(jīng)從神乎其神的東西落地在生活當(dāng)中，智能音箱、無(wú)人駕駛、智能支付等都已經(jīng)用上了 AI 的技術(shù)，并且通過(guò)實(shí)驗(yàn)、比賽、實(shí)際的產(chǎn)品， AI 已經(jīng)在很多的領(lǐng)域達(dá)到了人類(lèi)的平均水平，甚至在某些領(lǐng)域已經(jīng)超過(guò)了平均水平。但是 AI 面對(duì)對(duì)抗樣本卻相當(dāng)脆弱，本次演講的主講人 Dou Goodman 所在的百度安全已經(jīng)通過(guò)實(shí)驗(yàn)證明，在原始數(shù)據(jù)上疊加很小的擾動(dòng)就可以讓 AI 產(chǎn)生錯(cuò)誤的識(shí)別結(jié)果。
以下為 Dou Goodman 在第七屆NSC網(wǎng)絡(luò)安全大會(huì)（原中國(guó)網(wǎng)絡(luò)安全大會(huì)）的演講概要，雷鋒網(wǎng)在不改變講者原意的基礎(chǔ)上對(duì)演講全文進(jìn)行了刪減，小標(biāo)題為編者所加，該文原標(biāo)題為《遷移攻擊云端AI，一個(gè)被遺忘的戰(zhàn)場(chǎng)》。
演講人： Dou Goodman ，百度安全
在經(jīng)典的圖像領(lǐng)域，左邊原始圖片是一只熊貓，中間這一塊是我們?cè)谠紙D片上疊加的擾動(dòng)，把擾動(dòng)放在原始圖片上形成新的圖片，最后生成的圖片叫做對(duì)抗樣本。
從人的感官看，最后生成的對(duì)抗樣本還是可以清晰識(shí)別為一只熊貓，機(jī)器識(shí)別模型可能把它識(shí)別為長(zhǎng)臂猿或者其他的動(dòng)物，這就是典型的對(duì)抗樣本的例子。對(duì)抗樣本有一個(gè)非常典型的特征，它欺騙的是 AI 模型，一般欺騙不了人，但人對(duì)原始數(shù)據(jù)的修改難以識(shí)別，這里舉例的僅是圖像數(shù)據(jù)，在語(yǔ)言、文本數(shù)據(jù)上也有同樣的現(xiàn)象，在一段語(yǔ)音里疊加一段人不能理解或者是根本沒(méi)法察覺(jué)的背景音樂(lè)，卻可以欺騙智能音箱，2017 年浙大的徐老師通過(guò)海豚音實(shí)現(xiàn)了類(lèi)似的攻擊，對(duì)抗樣本在廣泛的 AI 各領(lǐng)域都存在，只是目前應(yīng)用比較多的是圖像識(shí)別和語(yǔ)音。
我們是否可以相對(duì)形象地解釋一下對(duì)抗樣本的存在？我們拿最基礎(chǔ)的二分類(lèi)問(wèn)題舉例，這個(gè)圖像是不是熊貓，可以簡(jiǎn)化為二分類(lèi)問(wèn)題，機(jī)器學(xué)習(xí)的過(guò)程就是提供足夠多的樣本讓模型學(xué)習(xí)，能夠畫(huà)出分割曲線，綠顏色就是熊貓，紅顏色不是熊貓，學(xué)習(xí)以后畫(huà)出熊貓，他知道曲線上面就是熊貓，曲線下面就不是熊貓。但是，如果修改一定像素，讓它跨越這個(gè)分割，從機(jī)器的角度來(lái)說(shuō)已經(jīng)完成了從熊貓到不是熊貓的變化，但是從人的感官無(wú)法察覺(jué)，有時(shí)可能就是十幾個(gè)像素點(diǎn)。
接下來(lái)對(duì)對(duì)抗樣本有一些簡(jiǎn)單的分類(lèi)，平常按照對(duì)抗樣本的已知情況分為白盒、黑盒，現(xiàn)在介紹的就是白盒攻擊，對(duì)你整個(gè)模型就是很了解，完整了解模型的結(jié)構(gòu)，甚至是每個(gè)參數(shù)，也可以沒(méi)有限制的訪問(wèn)模型的輸入，這是一個(gè)非常強(qiáng)的條件，相當(dāng)于整個(gè)模型我都了解，還有一個(gè)需要特別強(qiáng)調(diào)的是，我可以無(wú)限制訪問(wèn)模型輸入，是直接訪問(wèn)的，這是非常強(qiáng)的，這是得天獨(dú)厚的條件。
相對(duì)于白盒而言，困難一點(diǎn)的是黑盒攻擊，我對(duì)你使用的模型、參數(shù)都不知道，不了解，幾乎無(wú)限制的直接訪問(wèn)模型的輸入。只能訪問(wèn)這個(gè)模型的輸入，攻擊難度就提升了很多，因?yàn)槲覍?duì)模型不了解，現(xiàn)在唯一能知道的就是模型輸入，這里還有一點(diǎn)黑盒模型比較好的地方，在于我對(duì)你的輸入是直接訪問(wèn)模型的輸入，中間不會(huì)經(jīng)過(guò)亂七八糟的處理，同時(shí)我對(duì)黑盒的訪問(wèn)是沒(méi)有任何限制的，可以訪問(wèn)十萬(wàn)次，只要機(jī)器CPU足夠猛，時(shí)間足夠多，就可以無(wú)限制訪問(wèn)，這是一個(gè)特別好的條件，攻擊云端的 API 接口是一種特殊形式的黑盒攻擊，廣義來(lái)說(shuō)也是黑盒攻擊，受的限制更多，除了之前介紹的我不知道你使用的是什么樣的模型，也不知道什么樣的參數(shù)，更麻煩的地方在于還要經(jīng)過(guò)未知的圖像預(yù)處理環(huán)節(jié)，云廠商不是傻子，圖像傳上去之前總得“動(dòng)點(diǎn)手腳”，最常見(jiàn)的是把圖像隨機(jī)縮放?；蛘撸瑥膱D像里隨機(jī)CROP一個(gè)大小，預(yù)處理環(huán)節(jié)對(duì)攻擊者造成了多大的影響，接下來(lái)會(huì)講到這個(gè)事情。
還有一種云端訪問(wèn)的情況比較苛刻，訪問(wèn)次數(shù)和頻率受限，他是收錢(qián)的，會(huì)限制你的速度，比如每秒只能傳十張或者是免費(fèi)一天只能處理一百?gòu)?，超過(guò)一百?gòu)埦偷檬斟X(qián)，如果攻擊者要攻擊云端模型，訪問(wèn)的頻率和次數(shù)受限，如果是土豪，可以充很多的值，另當(dāng)別論，網(wǎng)絡(luò)環(huán)境決定了你不可能太頻繁地傳圖片，所以，攻擊云端是最困難的。
因此，把模型放在云端會(huì)給我們一種錯(cuò)誤的安全感，比如說(shuō)我的模型如果是本地化部署，部署在你的手機(jī)或者是本地服務(wù)器里都是不安全的，攻擊者可以通過(guò)反向破解甚至直接把模型拷出來(lái)就可以還原模型，把模型放在本地這是一個(gè)共識(shí)，大家覺(jué)得這是不安全的，但是如果把模型放在云端，會(huì)覺(jué)得你訪問(wèn)我的次數(shù)受限，你又不知道我是什么樣的模型，又不知道模型是什么樣的參數(shù)，是不是就很安全？這是一種錯(cuò)誤的安全感，再對(duì)比一下，白盒和黑盒相比，黑盒困難，是因?yàn)楹诤胁恢滥愕哪Ｐ徒Y(jié)構(gòu)，也不知道你的模型參數(shù)，但是攻擊云端很困難，正是因?yàn)檫@樣的困難，把模型放在云端是很安全的，我會(huì)告訴你不是這樣的。
今天討論的問(wèn)題就是攻擊云端圖像分類(lèi)模型，只是舉個(gè)例子，這是比較簡(jiǎn)單的場(chǎng)景，圖像分類(lèi)可以識(shí)別你是奔馳還是寶馬，圖像問(wèn)題最后都可以劃分為圖像分類(lèi)問(wèn)題，這是最簡(jiǎn)單的圖像分類(lèi)的情況，拿最可愛(ài)的貓作為原始圖片，一個(gè)攻擊者希望在貓的圖片上疊加一定的擾動(dòng)以后攻擊云端圖像分類(lèi)API，攻擊之前我們的分類(lèi)模型可以正確識(shí)別貓，概率是99%，攻擊以后，模型將對(duì)抗樣本識(shí)別為別的物體。
常見(jiàn)的幾種攻擊云端的方式，也是黑盒攻擊的衍生，最常見(jiàn)的就是基于查詢(xún)的攻擊。
非常好理解，對(duì)應(yīng)的模型我什么也不知道，一靠猜，二靠攻，可以不斷通過(guò)查詢(xún)的反饋來(lái)猜測(cè)、了解你的模型結(jié)構(gòu)，同時(shí)我攻擊的過(guò)程在查詢(xún)中進(jìn)行的，要通過(guò)大量的請(qǐng)求來(lái)了解模型的結(jié)構(gòu)，并且攻擊，攻擊速度特別慢，成本比較高，因?yàn)橛辛嗽贫说南拗?，攻擊十萬(wàn)次，一萬(wàn)次以后，花一個(gè)小時(shí)甚至一天，比較慢，成本高，這是時(shí)間成本，還有，攻擊要花比較多的錢(qián)。我了解到，通常云平臺(tái)一天免費(fèi)的量是從一百至兩千都有，但是可以看到攻擊這張圖片就需要兩萬(wàn)次甚至十萬(wàn)次，每攻擊一張照片就得花幾塊錢(qián)或者是十幾塊錢(qián)。
此外，圖像尺寸越大，查詢(xún)次數(shù)越多。
基于查詢(xún)的攻擊方式在理論上可行，在2015年之前很多論文也只有通過(guò)查詢(xún)才能攻擊，浙大的紀(jì)老師提出一個(gè)新的算法，有一定的先驗(yàn)知識(shí)，我想把人的圖片能夠識(shí)別成一個(gè)貓或者是把貓的圖片識(shí)別成一個(gè)汽車(chē)，是否可以讓我修改的像素點(diǎn)只集中在貓或者是人的身上？首先把圖像先做一個(gè)語(yǔ)義分割，把我們關(guān)注的人或者是物體分割出來(lái)，只修改該物體身上的像素點(diǎn)，這樣就讓我們查詢(xún)的范圍大大減少。
攻擊人物識(shí)別模型，比如為了規(guī)避政策的風(fēng)險(xiǎn)，里面只要涉及到明星或者政治人物，盡量希望這張圖片不要傳上去或者是打上特殊的標(biāo)記，現(xiàn)在很多云平臺(tái)都提供這個(gè)功能——敏感人物識(shí)別，這是奧巴馬的圖片，通過(guò)在奧巴馬圖片上修改一些像素點(diǎn)，就無(wú)法識(shí)別這是奧巴馬，這是基于查詢(xún)攻擊算法的改進(jìn)。
第二種方法，如果已經(jīng)知道云端模型，就可以把黑盒攻擊退回為白盒攻擊。
通過(guò)研究，很多圖像分類(lèi)模型基礎(chǔ)單元是很接近的，甚至只是同一個(gè)模型增加了層次，對(duì)抗樣本本身具有遷移性，如果模型結(jié)構(gòu)越接近，攻擊效果也就越好，縱列前三個(gè)可以認(rèn)為是同一類(lèi)模型，成素不一樣，后面兩個(gè)是別的模型，在本地會(huì)攻擊這個(gè)模型，生成的對(duì)抗樣本，再攻擊云端的遠(yuǎn)程模型，縱軸是本地有的模型，橫軸等于是攻擊模型，數(shù)字表明的是準(zhǔn)確率，這個(gè)值越低表示攻擊效果越好，如果我的對(duì)抗樣本都能讓你識(shí)別錯(cuò)，我的準(zhǔn)確率是零，值越小說(shuō)明我的攻擊效果越好，在對(duì)角線這個(gè)軸都是零，表我本地模型云端是完全一樣的，攻擊成功率應(yīng)該是100%，識(shí)別是0，結(jié)構(gòu)越接近的，他們對(duì)應(yīng)的識(shí)別率比較低，這也證明了如果結(jié)構(gòu)越接近，攻擊效果越好，利用這一點(diǎn)，我們可以猜測(cè)云端可能是什么樣的模型，在本地用同樣的模型直接攻擊，這樣查詢(xún)次數(shù)只有一次，攻擊效率比較低，或者說(shuō)成功率比較低。
接下來(lái)就是我們實(shí)驗(yàn)室今年提出來(lái)的一種新攻擊方式，模型越接近，攻擊效果越好，我們會(huì)去猜到底云端是什么樣的模型，運(yùn)氣好了猜中，運(yùn)氣不好猜不中，是否有某種方式一定保證我可以猜中？
因?yàn)槌Ｒ?jiàn)的圖片分類(lèi)模型只有那么多，假設(shè)我手上有一張貓的圖片，把貓的圖片拿到手上已知的模型里，每一個(gè)都生成對(duì)抗樣本，貓讓它識(shí)別成狗或者是豬都無(wú)所謂，只要識(shí)別錯(cuò)就行，把每一個(gè)生成的對(duì)抗樣本都扔到云端問(wèn)一下，就會(huì)有一個(gè)好玩的結(jié)果，如果某種模型返回的值或者是某種模型生成的對(duì)抗樣本成功了，就意味著云端和本地的模型非常接近，通過(guò)有限的查詢(xún)，以后就可以大概率猜測(cè)出云端是什么樣的模型，大大提高了準(zhǔn)確率，像已知的圖像模型還是有限的，在二十種以?xún)?nèi)，在有限的查詢(xún)次數(shù)摸清云端是什么樣的圖片，把黑盒攻擊退化成為白盒攻擊。
這是我們實(shí)際攻擊的實(shí)驗(yàn)室案例，這是一個(gè)開(kāi)源的無(wú)人車(chē)目標(biāo)檢測(cè)模型，正常情況下能夠識(shí)別前方的卡車(chē)，后方是一輛汽車(chē)，通過(guò)我們的攻擊方式后，可以讓后面這輛汽車(chē)無(wú)法識(shí)別，汽車(chē)消失了，這是對(duì)抗樣本直接的例子。
基于遷移的攻擊攻擊效果比較好，前提是攻擊者手上必須有相似或者是類(lèi)似的圖像分類(lèi)模型，目前開(kāi)源比較多的ImageNet還是常見(jiàn)的一千個(gè)分類(lèi)，如果要做惡意圖像識(shí)別手上沒(méi)有足夠多的模型做遷移，怎么解決這個(gè)問(wèn)題？
有一個(gè)新方式——盡量減少查詢(xún)的次數(shù)，只能做白盒攻擊，攻擊者可以在本地模擬一個(gè)白盒，讓它跟云端的功能相同，這就是替身攻擊的方式，通過(guò)有限查詢(xún)?cè)诒镜赜?xùn)練出一個(gè)汽車(chē)模型，這樣就把黑盒攻擊又退化成為白盒攻擊，它的攻擊方式分為兩步，第一步通過(guò)有限次的查詢(xún) API，得到結(jié)果后在本地訓(xùn)練出一個(gè)替身模型，第二步就是白盒攻擊。
這是我們?cè)谏蟼€(gè)月在DEF CON CHINA 1.0 提的改進(jìn)版汽車(chē)攻擊，常見(jiàn)的替身攻擊需要大量的樣本，攻擊者很難收集成足夠的圖片，如果能用盡量少的圖像在本地訓(xùn)練出一個(gè)模型，做了兩個(gè)假設(shè)，假設(shè)直接拿攻擊圖片作為訓(xùn)練圖像，我就直接發(fā)出我的訓(xùn)練樣本，第二，讓本地快速使用少量的樣本模擬出云端功能。
這里就講到我們用的比較典型的功能，第一，就是我們做訓(xùn)練模型時(shí)通常只會(huì)關(guān)注你的輸出，把原始圖像扔給你，只會(huì)關(guān)心你最后分類(lèi)的標(biāo)簽對(duì)不對(duì)，就像老板在你工作的最后一天只看你的結(jié)果，這樣的效果不會(huì)太好。一個(gè)比較好的老板會(huì)怎么做？他會(huì)在項(xiàng)目關(guān)鍵的節(jié)點(diǎn)抽查你，看你做的事情跟他預(yù)想的是否一樣，我們?cè)谟?xùn)練時(shí)多了一個(gè)環(huán)節(jié)，以前訓(xùn)練時(shí)只會(huì)關(guān)心整個(gè)模型的輸出跟預(yù)想的結(jié)果是否一樣，但我們?cè)趯?shí)現(xiàn)時(shí)會(huì)看這幾個(gè)模型在幾個(gè)關(guān)鍵點(diǎn)的輸出是否跟我設(shè)想的一下，我們對(duì)項(xiàng)目的把控會(huì)更好，從模型訓(xùn)練角度來(lái)講，就會(huì)用更小的數(shù)據(jù)訓(xùn)練出更好的模型，更像是如何更好地做遷移學(xué)習(xí)的過(guò)程。
第二，通常圖像識(shí)別模型是卷積的，我們把模型分為三部分，比如模型的前半部分我們提取的都是一些初級(jí)的特征，比如貓跟人之間提取的是他們身上的紋理，這都是比較初級(jí)的特征。第二層是中間層，提取的是稍微高級(jí)一點(diǎn)的特征，可能到器官或者是更高級(jí)別的特征，到了最后一個(gè)級(jí)別，更高級(jí)別的特征出現(xiàn)了完整的比如人的軀干，完整的頭形，層次越低，提取的特征越初級(jí)，層次越高，提取的特征更高，在攻擊的時(shí)除了讓目標(biāo)產(chǎn)生分類(lèi)錯(cuò)誤，在更高級(jí)別上跟原來(lái)的圖片上產(chǎn)生的差距越大，遷移也就越強(qiáng)，這是我們做的兩個(gè)點(diǎn)，一是在替身學(xué)習(xí)時(shí)，用盡量少的樣本確認(rèn)出方法更強(qiáng)的模型。
第二，在白盒攻擊的時(shí)候增加了特征圖損失，提高攻擊的遷移性，攻擊常見(jiàn)的云端平臺(tái)后，攻擊成功率達(dá)到了90%，已經(jīng)接近于白盒的能力，這是我們利用圖像分類(lèi)的攻擊模型，我們攻擊的是圖像搜索，圖像搜索在實(shí)現(xiàn)上有很多的技術(shù)，現(xiàn)在比較主流的還是圖片傳上去以后，根據(jù)分類(lèi)結(jié)果去找相同的圖片。
剛才講的前三種都是比較有技術(shù)含量的，我需要把模型算一算，后面就是一種新發(fā)現(xiàn)的方式，機(jī)器學(xué)習(xí)模型的弱點(diǎn)，這種攻擊方式本身不需要大家有深度學(xué)習(xí)的知識(shí)，也不需要大家會(huì)高等數(shù)學(xué)，這是國(guó)外研究者發(fā)現(xiàn)的，AI 模型或者是圖像分類(lèi)模型確實(shí)可以在圖像分類(lèi)任務(wù)上達(dá)到人類(lèi)平均水平或者是高出人類(lèi)，在本質(zhì)上并沒(méi)有理解什么是貓，什么是狗，理解的還是統(tǒng)計(jì)學(xué)上的規(guī)律，有的翻譯成空間攻擊，無(wú)所謂，用比較通俗的語(yǔ)言來(lái)說(shuō)，我在圖片上做一個(gè)簡(jiǎn)單的旋轉(zhuǎn)，增加一些噪音，從人的角度理解沒(méi)有任何問(wèn)題，因?yàn)槲覀兪钦嬲斫馐裁词秦垼裁词枪?，從一個(gè)機(jī)器的角度來(lái)說(shuō)，圖片就是一個(gè)矩陣，矩陣類(lèi)的數(shù)據(jù)卻發(fā)生了很大的變化，圖像只是旋轉(zhuǎn)十度，但是對(duì)圖像來(lái)說(shuō)，矩陣上的每個(gè)像素點(diǎn)的值都被修改了，對(duì)于機(jī)器來(lái)說(shuō)全改掉了，今年國(guó)內(nèi)的老師好像也發(fā)了相關(guān)的文章，同樣的圖片，本來(lái)是手槍?zhuān)D(zhuǎn)一下，差不多十度，就把一個(gè)手槍識(shí)別成捕鼠器，中間的禿鷹，旋轉(zhuǎn)一下，就變成了大猩猩，右邊這個(gè)，常見(jiàn)的噪音有幾個(gè)，一個(gè)是高斯噪音，早期的黑白電視信號(hào)不太好，會(huì)出現(xiàn)黑白點(diǎn)，就出現(xiàn)了椒鹽噪音，這個(gè)是谷歌的例子，左邊的圖片就是一個(gè)茶壺，通過(guò)疊加了10%的椒鹽噪音把它識(shí)別成一個(gè)生物。第二個(gè)例子，一張別墅的圖片疊加了15%的椒鹽噪音就被識(shí)別成生態(tài)系統(tǒng)，導(dǎo)致結(jié)果分類(lèi)輸出產(chǎn)生了錯(cuò)誤。
以上四種攻擊都可以在不同程度實(shí)現(xiàn)對(duì)云端 AI 模型的攻擊，也驗(yàn)證一個(gè)觀點(diǎn)，把模型保留在云端給人一種錯(cuò)誤的安全感。
處在學(xué)術(shù)研究階段的防守方式比較多，只能防守一些點(diǎn)，只有都用上才能對(duì)抗中低級(jí)攻擊，我們把我們能做的事情做好，提升黑客的攻擊門(mén)檻，這樣保證黑客不會(huì)輕易把我們的模型偷走，一旦模型被偷走，黑盒攻擊退化成了白盒攻擊，成功率接近100%，最重要的一步，云端的 web 安全要做好，要保證別把模型偷走。
第二，加強(qiáng)濾波器去噪，基礎(chǔ)的濾波器可以干掉常見(jiàn)的高斯、椒鹽噪音，提高魯棒性，希望大家在不太費(fèi)勁的情況下加一個(gè)濾波，但也有一定的風(fēng)險(xiǎn)，可能降低識(shí)別率，大家要做測(cè)試。
第三，國(guó)外研究員在 2018 年的ICLR上提了七種防御方式，最后也被一個(gè)大佬攻破，這是一種最容易實(shí)現(xiàn)而且效果還不錯(cuò)的防御方式，生成對(duì)抗樣本的過(guò)程其實(shí)就是利用模型的過(guò)擬合，比如在模型實(shí)現(xiàn)時(shí)可能識(shí)別了比較細(xì)微的特征，這些細(xì)微的特征彌補(bǔ)上就可以欺騙攻擊，比如機(jī)器識(shí)別一張圖片為貓，是因?yàn)橛幸恍┨厥獾鸟薨?，這些攻擊特征因?yàn)楹芗?xì)致，把圖像做輕微旋轉(zhuǎn)縮放后，從人的角度來(lái)說(shuō)，圖像本身沒(méi)有發(fā)生變化，對(duì)抗樣本就會(huì)失效，這個(gè)實(shí)現(xiàn)非常簡(jiǎn)單，效果比較好，圖片再傳到云端之前預(yù)處理，把圖片做隨機(jī)縮放，隨機(jī)挪位置，這樣對(duì)圖像分類(lèi)結(jié)果不會(huì)產(chǎn)生太大的影響，但是對(duì)對(duì)抗樣本尤其是基于優(yōu)化、修改量比較小的樣本會(huì)有比較好的防守效果。
另外，我比較推崇的防守方法叫做對(duì)抗訓(xùn)練，無(wú)論你怎么做圖像預(yù)處理，本質(zhì)就可以說(shuō)是梯度掩碼，證明這樣的方式比較容易攻破，還是要給它喂一些數(shù)據(jù)，把生成的對(duì)抗樣本扔給你，再扔到模型重新訓(xùn)練，這樣會(huì)讓模型變得更加可靠。
我們也開(kāi)源了AI模型工具箱，可以利用生成對(duì)抗樣本，重新訓(xùn)練自己的模型，讓自己的模型更好抵御攻擊。
雷鋒網(wǎng)注：第七屆NSC網(wǎng)絡(luò)安全大會(huì)（原中國(guó)網(wǎng)絡(luò)安全大會(huì)）由賽可達(dá)實(shí)驗(yàn)室、國(guó)家計(jì)算機(jī)病毒應(yīng)急處理中心、國(guó)家網(wǎng)絡(luò)與信息系統(tǒng)安全產(chǎn)品質(zhì)量監(jiān)督檢驗(yàn)中心、首都創(chuàng)新大聯(lián)盟及百家行業(yè)聯(lián)盟共同主辦。
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
