0
雷鋒網(wǎng) AI 科技評(píng)論按：天下苦「假照」久矣，作為世上聞名的「亞洲四大邪術(shù)」之一，中國(guó) PS 術(shù)讓人人皆可化身大片主人翁，與此同時(shí)也給現(xiàn)代社會(huì)帶來(lái)了不少的困惑與恐慌——如今網(wǎng)上充斥大量的「移花接木」虛假內(nèi)容，正沖擊著數(shù)字媒體在普羅大眾心中的信任感。鑒于此，Adobe 公司的研究員與自加州大學(xué)伯克利分校的科學(xué)家合作開(kāi)發(fā)出了一款可用于識(shí)別 PS 軟件「液化」效果的工具。
PS 軟件的「液化」工具究竟有什么樣神奇的魔力呢？雷鋒網(wǎng) AI 科技評(píng)論給大家從網(wǎng)上找來(lái)一個(gè)教學(xué)樣板：
原來(lái)的照片
該照片被導(dǎo)入 PS 軟件后，經(jīng)歷了一系列「向前變形」、「擦漏光」、「縮小」等「液化」工程后，最終生成的效果圖如下：
是否很難相信這是同一個(gè)人？
近期很流行的老照片修復(fù)工作，雖然有人表示林徽因被整出了一張「網(wǎng)紅臉」……
為了破除這種由 PS「液化」工具制造出來(lái)的「幻術(shù)」，Adobe 與伯克利研究團(tuán)隊(duì)訓(xùn)練了一種可用于識(shí)別人像變化的卷積神經(jīng)網(wǎng)絡(luò) (CNN)。簡(jiǎn)單來(lái)說(shuō)，這個(gè)工具最終要能回答以下三個(gè)問(wèn)題：
我們能否創(chuàng)造出一款比人工識(shí)別更可靠的人像識(shí)別工具?
該工具是否能識(shí)別出人像具體經(jīng)歷了哪些更改?
我們可以撤消這些更改以恢復(fù)人像原本的模樣嗎?
最終識(shí)別準(zhǔn)確率高達(dá) 99%！
具體研發(fā)流程上，研究人員先編寫了一個(gè)軟件腳本，對(duì)網(wǎng)上搜集來(lái)的數(shù)千張圖片實(shí)施「液化」功能，由此創(chuàng)建一個(gè)廣泛的圖像訓(xùn)練集。接著一個(gè)子集被隨機(jī)選中用于網(wǎng)絡(luò)訓(xùn)練。為了進(jìn)一步考驗(yàn)工具對(duì)于人工修整的識(shí)別能力，團(tuán)隊(duì)還專門請(qǐng)來(lái)一名人類藝術(shù)家對(duì)那些混合在數(shù)據(jù)集里的圖像進(jìn)行調(diào)整。
左邊是從 Flickr（頂部）以及 Open Images（底部）中抓取的真實(shí)圖片；右邊則是通過(guò) PS 軟件的「液化」工具隨機(jī)自動(dòng)創(chuàng)建的變形人像。我們可以看到，兩者之間相差甚微。
研究團(tuán)隊(duì)在該數(shù)據(jù)集上對(duì)全局 & 局部變形預(yù)測(cè)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，以局部預(yù)測(cè)網(wǎng)絡(luò)為例，團(tuán)隊(duì)使用包括 flow warping prediction、relative warp preservation 和 pixel-wise reconstruction loss 等系列損失函數(shù)在內(nèi)的訓(xùn)練組合。最終，團(tuán)隊(duì)給我們展示了部分應(yīng)用程序，包括能夠有效識(shí)別出人像調(diào)整區(qū)域的可視化覆蓋工具，以及能夠?qū)φ{(diào)整區(qū)域進(jìn)行「消解」，進(jìn)而取得接近原始人像效果的復(fù)原工具。
簡(jiǎn)單總結(jié)：
左一是「液化」過(guò)的圖；
左二是通過(guò)工具識(shí)別出經(jīng)過(guò)「液化」的區(qū)域；
左三是工具提供的「復(fù)原」建議；
最右是經(jīng)過(guò)「復(fù)原」的「真面目」
最終的實(shí)驗(yàn)結(jié)果顯示，人工識(shí)別的準(zhǔn)確率只有 53%，而他們研發(fā)出的工具則可以達(dá)到 99% 的識(shí)別準(zhǔn)確率！
總習(xí)慣發(fā)照前 P 個(gè)圖的你們，顫抖吧！
工作原理
這個(gè)工具背后涉及到的其實(shí)是被稱作「圖像取證」或「?jìng)卧鞕z測(cè)」的技術(shù)，這部分內(nèi)容在當(dāng)今的計(jì)算機(jī)視覺(jué)領(lǐng)域變得日益重要。
在過(guò)去，已經(jīng)有不少研究人員提出各種各樣檢測(cè)人像篡改情況的的取證方式，比如通過(guò)自定義線索的方式來(lái)檢測(cè)圖像，最典型如通過(guò)發(fā)現(xiàn)像素之間的周期相關(guān)性（自定義內(nèi)容）來(lái)檢測(cè)重采樣偽影，然而這類型交互式編輯工具的操作上很復(fù)雜，且難以建模，所以并未在本次工作中被采用，團(tuán)隊(duì)最終選擇基于大量數(shù)據(jù)訓(xùn)練來(lái)習(xí)得相關(guān)能力；針對(duì)缺乏標(biāo)注數(shù)據(jù)的問(wèn)題，學(xué)界則提出各種自我監(jiān)督式的訓(xùn)練方式，基于自動(dòng)生成的假圖像進(jìn)行訓(xùn)練。
而為了讓機(jī)器具備甄別真假的能力，團(tuán)隊(duì)在本次工作中使用 ResNet50 訓(xùn)練出了一個(gè)二進(jìn)制分類器，為 ImageNet 分類進(jìn)行預(yù)訓(xùn)練，并根據(jù)任務(wù)需要進(jìn)行微調(diào)。為了讓機(jī)器進(jìn)一步具備「還原」能力，團(tuán)隊(duì)首先預(yù)測(cè)一個(gè)光流場(chǎng) 
，預(yù)測(cè)路徑從原始圖像 
至篡改圖像 X，然后再用它來(lái)嘗試「反向」恢復(fù)原始圖像。
最后，一起來(lái)看看工具的強(qiáng)大能力吧：
然而這已經(jīng)不是 PS 第一次砸自家招牌
就在去年，同樣是來(lái)自 Adobe 公司的研究員在 CVPR 上發(fā)表一篇圖像篡改檢測(cè)的相關(guān)論文（Learning Rich Features for Image Manipulation Detection），這篇工作的核心內(nèi)容是讓機(jī)器具備識(shí)別以下這 3 種圖像篡改手段的能力：
拼接——把別張圖的物體拼接到另一張圖上。
復(fù)制 - 移動(dòng)——對(duì)一張圖上的部分區(qū)域進(jìn)行拷貝，然后放到圖中的其它地方。
移除——將圖像中的部分元素進(jìn)行移除。
換句話說(shuō)，相較于「液化」這種隱晦的調(diào)整形態(tài)，當(dāng)時(shí) Adobe 試圖解決的還是比較粗線條的圖像竄改情況。
在這篇論文中，PS 研究團(tuán)隊(duì)提出一個(gè)名為「雙流 Faster R-CNN 網(wǎng)絡(luò)」的解決方法：
橘黃色的箭頭連起來(lái)的是 RGB 流，藍(lán)色的箭頭連起來(lái)的是噪聲流。每個(gè)單獨(dú)的流其實(shí)都是一個(gè) Faster R-CNN。
最終取得的識(shí)別成果如下：
該方法相較于其他 Baseline，如 ELA，NOI1 和 CFA1，識(shí)別圖像竄改的能力也更加突出。
網(wǎng)友對(duì)此反應(yīng)
這個(gè)技術(shù)發(fā)布后，在微博上引起了網(wǎng)友們的熱烈討論，有人認(rèn)為這款工具并“不討喜”：
同時(shí)底下很快聚集起了一幫吃瓜群眾：
也有人在為自己的終身大事發(fā)愁：
還有網(wǎng)友發(fā)出了靈魂一問(wèn)：
不過(guò)大家也許無(wú)需如此擔(dān)心，據(jù)雷鋒網(wǎng) AI 科技評(píng)論了解，這個(gè)一鍵復(fù)原照片至 PS 前原貌的技術(shù)，距離工具化尚有一段距離。
Adobe 研究員 Richard Zhang 在 Adobe 官方博客上明確表示，「想法離現(xiàn)實(shí)還很遠(yuǎn)」，他們會(huì)「進(jìn)一步探索這個(gè)領(lǐng)域的研究」。Adobe 科研主管 Gavin Miller 也表示，這個(gè)工作是為了識(shí)別與阻止美圖技術(shù)的濫用，「圖像取證的旅程才剛剛開(kāi)始」。
雷鋒網(wǎng) AI 科技評(píng)論
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
