雷鋒網(wǎng) AI 科技評論按：本文是北京大學(xué)門怡芳基于其 CVPR spotlight 論文為 AI 科技評論提供的獨家稿件，未經(jīng)許可不得轉(zhuǎn)載。論文信息：A Common Framework for Interactive Texture Transfer

引言

紋理遷移技術(shù)作為計算機視覺和圖形學(xué)領(lǐng)域的一個研究熱點，能夠?qū)訄D中的風(fēng)格紋理自動遷移到目標(biāo)圖像中，本文提出了一種用戶引導(dǎo)的紋理遷移技術(shù)，通過輸入素材語義圖、素材風(fēng)格圖及目標(biāo)語義圖，能夠自動生成具有目標(biāo)語義和素材風(fēng)格的目標(biāo)風(fēng)格圖，該問題描述如圖 1 所示。

圖 1：問題描述。輸入素材語義圖 S_sem、素材風(fēng)格圖 S_sty 及目標(biāo)語義圖 T_sem，能夠自動生成具有目標(biāo)語義和素材風(fēng)格的目標(biāo)風(fēng)格圖 T_sty。

該技術(shù)有著廣泛的應(yīng)用場景，例如將一副簡單的用戶涂鴉變成藝術(shù)畫作、編輯裝飾性紋理的生成路徑和形狀、生成具有已知風(fēng)格紋理的特效文字、控制特效字中特效的空間分布、對圖像中兩個物體進(jìn)行紋理交換等，該技術(shù)可以通過語義引導(dǎo)的方式將素材樣圖中的紋理圖案遷移到目標(biāo)圖像中。

由于任務(wù)的多樣性和語義引導(dǎo)的簡單性，利用一些現(xiàn)有的技術(shù)很難達(dá)到我們的目標(biāo)。一些方法在特定的場景上能達(dá)到很好的效果，如裝飾筆刷 [1] 和文本特效遷移 [2]，但這些方法只適用于單一的指定場景，不適用于我們目標(biāo)中的多任務(wù)情景。基于圖像類比的方法 [3,4]，由于缺少對內(nèi)部結(jié)構(gòu)信息的分布引導(dǎo)，很難對內(nèi)部具有復(fù)雜結(jié)構(gòu)信息的紋理進(jìn)行遷移并保留其細(xì)節(jié)性高頻紋理。神經(jīng)涂鴉 [5]利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行風(fēng)格遷移，然而該方法適用范圍小，僅適合于抽象的藝術(shù)畫作，而不能很好地處理真實拍攝的圖像或?qū)憣嵵髁x圖片，使得真實圖像遷移后的結(jié)果圖包含大量的底層噪聲，并且這種方法類似于一個黑盒操作，無法控制生成過程，使得生成結(jié)果有更多不可預(yù)測性，難以控制其細(xì)節(jié)合成，從而難以生成高質(zhì)量的圖片。

本文提出一種用戶引導(dǎo)的紋理遷移通用框架以適用于多任務(wù)場景。本方法基于非參數(shù)化的紋理合成技術(shù)，從素材圖取樣完成目標(biāo)圖像的合成，采用了多個引導(dǎo)項動態(tài)引導(dǎo)合成過程。本方法通過顯著性結(jié)構(gòu)紋理引導(dǎo)的方式解決了目標(biāo)風(fēng)格圖中結(jié)構(gòu)信息丟失的問題；通過語義引導(dǎo)項為用戶提供了控制紋理形態(tài)、位置的接口，提供用戶交互性；通過紋理相干性引導(dǎo)項保證與素材風(fēng)格的一致性。使其能夠生成高質(zhì)量的紋理遷移圖片，滿足多場景任務(wù)需求。

方法

本文通過輸入包含素材語義圖、素材風(fēng)格圖和目標(biāo)語義圖的一組樣圖，通過顯著結(jié)構(gòu)信息提取、結(jié)構(gòu)信息傳播、引導(dǎo)性的紋理合成等步驟，使得紋理遷移后仍能保持內(nèi)部結(jié)構(gòu)信息、底層細(xì)節(jié)信息，由此自動生成與目標(biāo)語義圖內(nèi)容一致且具備素材風(fēng)格的目標(biāo)風(fēng)格圖，其總體處理流程如圖 2 所示。

圖 2：方法的總體流程。主要包含顯著結(jié)構(gòu)信息提取、結(jié)構(gòu)信息傳播和引導(dǎo)性的紋理合成三個步驟。

1. 顯著結(jié)構(gòu)信息提取。通過顯著性檢測對圖像中各個像素點的顯著度進(jìn)行計算，將滿足結(jié)構(gòu)信息定義的像素點標(biāo)注為顯著性點，得到素材風(fēng)格圖中的顯著性結(jié)構(gòu)信息，可視化過程如圖 3 所示。

圖 3：顯著結(jié)構(gòu)信息提取過程可視化。(c)(d) 分別為 (a)(b) 進(jìn)行顯著性檢測結(jié)果，將其差值作為顯著結(jié)構(gòu)信息，左右為兩個樣例。

2. 創(chuàng)建目標(biāo)結(jié)構(gòu)圖：依據(jù)素材語義圖和目標(biāo)語義圖的形狀相似性，找到一個平面變換關(guān)系，將素材風(fēng)格圖中的具備顯著結(jié)構(gòu)信息的像素點映射到新圖像中，該圖像定義為目標(biāo)結(jié)構(gòu)圖，可視化過程如圖 4 所示。

圖 4：首先根據(jù) CPD 算法對素材語義圖和目標(biāo)語義圖進(jìn)行輪廓關(guān)鍵點匹配，之后依據(jù)匹配結(jié)果，利用薄板樣條插值算法將素材風(fēng)格圖中的具備顯著結(jié)構(gòu)信息的像素點映射到新圖像中，該圖像定義為目標(biāo)結(jié)構(gòu)圖。

3. 建立目標(biāo)函數(shù)并進(jìn)行紋理合成優(yōu)化，目標(biāo)函數(shù)由不同權(quán)重的語義引導(dǎo)項、結(jié)構(gòu)引導(dǎo)項和紋理相干項構(gòu)成。語義引導(dǎo)項用于施加用戶對風(fēng)格紋理形態(tài)、位置的控制；結(jié)構(gòu)引導(dǎo)項用于約束目標(biāo)結(jié)構(gòu)圖中圖像塊與實時合成的目標(biāo)風(fēng)格圖中圖像塊的相似性；紋理相干項控制目標(biāo)風(fēng)格圖中生成的紋理與素材風(fēng)格圖中紋理風(fēng)格相一致，使得風(fēng)格紋理具有連續(xù)性。且語義引導(dǎo)項的權(quán)重隨著迭代次數(shù)增多逐漸下降，變化范圍從常數(shù) β 下降到 0，以權(quán)重變化方式進(jìn)行動態(tài)引導(dǎo)。將紋理合成過程看作一個最優(yōu)化問題，以多尺度方式在每個尺度上利用最大期望值算法不斷迭代優(yōu)化目標(biāo)函數(shù)，交替執(zhí)行最近鄰搜索和目標(biāo)風(fēng)格圖重建兩個步驟，直至收斂，即完成圖像紋理遷移，得到具備素材風(fēng)格的目標(biāo)風(fēng)格圖。

實驗結(jié)果

本文主要通過不同任務(wù)場景下的生成效果展示了方法的有效性，僅需要單張樣例，便能夠根據(jù)用戶需求生成高質(zhì)量的紋理遷移圖片，在滿足目標(biāo)形態(tài)的同時，保證了紋理的連續(xù)性和一致性。以下為不同場景下圖像的生成結(jié)果：

（1）用戶涂鴉變藝術(shù)畫作

（2）編輯裝飾性紋理的生成路徑和形狀

（3）特效字生成（控制特效空間分布）

（4）紋理交換

本文在不同任務(wù)場景下和其他 state-of-the-arts 方法進(jìn)行了對比實驗，表明了文本方法在圖像生成質(zhì)量及風(fēng)格遷移效果上的優(yōu)越性。

參考文獻(xiàn)

[1] J. Lu, C. Barnes, C.Wan, P. Asente, R. Mech, and A. Finkelstein. Decobrush: drawing structured decorative patterns by example. ACM Transactions on Graphics (TOG), 33(4):90, 2014.

[2] S. Yang, J. Liu, Z. Lian, and Z. Guo. Awesome typography: Statistics-based text effects transfer[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2017: 7464-7473.

[3] A. Hertzmann, C. E. Jacobs, N. Oliver, B. Curless, and D. H. Salesin. Image analogies. In Proceedings of the 28th annual conference on Computer graphics and interactive techniques, pages 327–340. ACM, 2001.

[4] P. B′enard, F. Cole, M. Kass, I. Mordatch, J. Hegarty, M. S. Senn, K. Fleischer, D. Pesare, and K. Breeden. Stylizing animation by example. ACM Transactions on Graphics (TOG), 32(4):119, 2013.

[5] A. J. Champandard. Semantic style transfer and turning two-bit doodles into fine artworks. arXiv preprint arXiv: 1603.01768, 2016.

雷鋒網(wǎng)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。