0
雷鋒網(wǎng) AI 科技評論按：下面的 AI 生成的手繪圖看起來怎么樣？有耳目一新的感覺嗎？像你不好好聽課的時候在草稿紙上隨便畫的風格嗎？
從照片生成簡筆畫或者素描樣式的手繪圖像是許多普通人都感興趣的計算機視覺任務。但是這項任務并沒有那么容易做好。一直以來計算機視覺研究人員們花了很多精力關注的任務都是圖像分類和語義分割，即便是像素級、實例區(qū)分的語義分割也只能抓取到不同物體的外部輪廓，對同樣刻畫了物體形狀、但是位于外輪廓線內(nèi)部的線條就無能為力了；而另一方面，各類邊緣檢測算法雖然能捕捉到邊緣，但是無法區(qū)分出人類重點關注的、帶有較多語意信息的輪廓內(nèi)部的主要線條并予以加強。高度簡化的簡筆畫又會與實物相距甚遠。
近期的一篇新論文《Photo-Sketching: Inferring Contour Drawings from Images》（照片速寫：從圖像生成輪廓繪畫，arxiv.org/abs/1901.00542）就在這個問題上邁出了自己的一步。一作是 CMU 的中國留學生 Mengtian Li，他本科在南京大學匡亞明學院；別的作者來自 Adobe 研究院、Uber 以及 Argo AI。
作者們的方法并不意外，收集一個新的手繪數(shù)據(jù)集（真人進行的照片手繪），然后訓練神經(jīng)網(wǎng)絡。不過與類似研究有所不同的是，作者們收集的是一個一對多的數(shù)據(jù)集，每張照片可以對應多個真人手繪 ground truth 圖像。所以作者們認為這不應當是在傳統(tǒng)的「優(yōu)化調(diào)節(jié)邊緣檢測器」路線上繼續(xù)發(fā)展，同時直接使用各類現(xiàn)成的 cGAN 也無法帶來理想的表現(xiàn)。作者們提出了一種新的、可以處理多種不同的稀疏輸入的 cGAN 來進行處理。作者們與其它方法進行了定性以及定量的對比。
為了便于視覺理解及簡筆畫生成的后續(xù)研究，作者們也一并發(fā)布了這個數(shù)據(jù)集，它由一組組圖像和對應的輪廓簡筆畫組成。數(shù)據(jù)中含有 1000 張戶外場景的照片，每張照片都有 5 張對應的人類繪制的輪廓簡筆畫（一共 5000 張）。簡筆畫中的筆畫已經(jīng)與照片中的邊界做過粗略的對齊，便于把人類的筆畫和照片中的邊界對應起來。
數(shù)據(jù)集是通過亞馬遜眾包平臺 Mechanical Turk 收集的。收集過程中先給參與者展示墊在半透明背景下的照片，然后要求他們在上面用簡筆畫描繪出圖中的邊界。為了獲得高質(zhì)量的簡筆畫（標注），研究人員們專門設計了一個標注界面，其中含有一個詳細的指導頁面，展示了許多正面和負面例子。標注還會經(jīng)過人工的質(zhì)量檢查；內(nèi)部邊線有缺失的、缺少重要的畫面內(nèi)容的、手繪的邊界線與原圖有較大出入的、無法識別簡筆畫內(nèi)容的、簡筆畫中的人物非常糟糕的、在空的部分畫了線，這六類質(zhì)量不高的圖像都有可能被拒絕。所以實際上，在收集到這 5000 張可用的手繪簡筆畫的同時，研究人員們也獲得了 1947 張質(zhì)量不高而被拒絕的簡筆畫；這些畫未來可以用作自動質(zhì)量控制的樣本。
論文摘要：邊界、邊線、輪廓，這三者在計算機圖形學和計算機視覺兩個領域都是重要的研究課題。一方面，它們是表達了三維形狀的二維平面元素；另一方面，它們是互相遮蓋的物體的指示器，我們正是借助它們才能分辨不同的物體或者語義概念。在這篇論文中，作者們的目標是生成物體輪廓繪畫，也就是類似邊線的筆畫，通過它們勾畫出視覺場景的主要線條。早期的研究中通常把這類任務稱作“邊緣檢測”。然而，邊緣檢測任務的理想輸出中包含的視覺元素與輪廓繪畫之間其實有著不小區(qū)別，而且也缺失了輪廓繪畫中的藝術(shù)風格。作者們解決這個問題的方式是收集了一個新的輪廓簡筆畫數(shù)據(jù)集，并提出了一種基于學習的方法來解析不同的標注之間的多樣性；而且與邊緣檢測器不同的是，他們的方法可以在真實照片和手繪素材不完全對齊的情況下工作。相比以往的方法，作者們的方法定型、定量地都取得了更好的表現(xiàn)。令人驚訝的是，當作者們在 BSDS500 數(shù)據(jù)集上精細調(diào)節(jié)模型時，他們在突出邊界檢測任務中取得了目前最好的成績，這表明他們的輪廓繪畫可能可以成為邊緣標注的一種可拓展的替代方案，但同時對于標注人員來說更容易做、也更有趣。
項目主頁：http://www.cs.cmu.edu/~mengtial/proj/sketch/
論文地址：https://arxiv.org/abs/1901.00542
P.S. 單獨的手繪圖像技術(shù)和數(shù)據(jù)集可以參見雷鋒網(wǎng) AI 科技評論往期文章 《谷歌大腦教機器畫簡筆畫，神經(jīng)網(wǎng)絡的大作都長啥樣？》以及《同濟大學「智能大數(shù)據(jù)可視化實驗室」開源FaceX，包含500余萬張卡通人臉表情簡筆畫》
雷鋒網(wǎng) AI 科技評論報道。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
