0
雷鋒網(wǎng)按：本文原載于微信公眾號(hào)“網(wǎng)路冷眼”，作者 Hanson Lau 。作者已授權(quán)雷鋒網(wǎng)發(fā)布。原文地址：鏈接
最近，我將Isola等人做的pix2pix移植到了Tensorflow 平臺(tái)。Tensorflow 平臺(tái)包含在Tensorflow的圖像到圖像翻譯（Image-to-ImageTranslation in Tensorflow）論文中。我采用了一些預(yù)訓(xùn)練的模型，并制作了一個(gè)網(wǎng)絡(luò)互動(dòng)的程序可以直接嘗試玩玩。建議使用 Chrome 瀏覽器來查看效果。
pix2pix模型通過對(duì)圖像對(duì)進(jìn)行訓(xùn)練來工作，例如給建筑物的立面添加建筑物立面的標(biāo)簽，然后嘗試從任何輸入圖像生成相應(yīng)的輸出圖像。這個(gè)想法是直接從pix2pix 論文（ pix2pix paper）而來，這是一篇好文章。
在建筑立面數(shù)據(jù)庫上訓(xùn)練有標(biāo)簽的建筑立面。它似乎不知道如何處理一個(gè)大的空白區(qū)域，但如果放上足夠的窗口，那么結(jié)果往往合理。繪制“墻”顏色矩形來擦除東西。
我沒有建筑立面給定不同部分的名字，所以我只是猜測(cè)它們叫什么。
在約2k 存儲(chǔ)貓照片和從那些照片自動(dòng)生成的邊緣之上訓(xùn)練。生成了彩色貓對(duì)象和一些帶有噩夢(mèng)的臉。我所見過的最好的一個(gè)是貓貓。
一些圖片看起來特別蠕動(dòng)，因?yàn)閷?duì)動(dòng)物辨識(shí)產(chǎn)生誤判，特別是在眼睛周圍。自動(dòng)檢測(cè)的邊緣在很多情況下不是很好，沒有檢測(cè)到貓的眼睛，使得訓(xùn)練圖像翻譯模型效果更差。
在從Zappos收集的?50k鞋子圖片以及從那些圖片自動(dòng)生成的邊緣的數(shù)據(jù)庫上訓(xùn)練之后。如果你真的擅長(zhǎng)繪制鞋子的邊緣，可以嘗試產(chǎn)生一些新的設(shè)計(jì)。請(qǐng)記住，因?yàn)槭窃谡鎸?shí)的對(duì)象上進(jìn)行訓(xùn)練，所以如果你可以繪制更多的3D物體，所以似乎工作得更好。
和前面類似，在從亞馬遜收集的?137k手袋圖片及從那些照片自動(dòng)生成邊緣數(shù)據(jù)庫上訓(xùn)練。如果你在這里畫一個(gè)鞋而不是手提包，你會(huì)得到一只非常奇怪的紋理鞋。
使用pix2pix-tensorflow的pix2pix.py腳本訓(xùn)練和導(dǎo)出模型。交互式演示是使用Canvas API 以 Javascript 編寫的，并與通過Tensorflow運(yùn)行圖像的后端服務(wù)器通信。后端服務(wù)器可以運(yùn)行Tensorflow本身，或者將請(qǐng)求轉(zhuǎn)發(fā)到由Google運(yùn)行的托管Tensorflow服務(wù)的Cloud ML 上。
預(yù)訓(xùn)練模型在GitHub上的數(shù)據(jù)集部分提供。所有的發(fā)布與原來的pix2pix實(shí)現(xiàn)應(yīng)該都是可用的。模型可以使用pix2pix.py腳本從預(yù)訓(xùn)練的模型中導(dǎo)出，導(dǎo)出的模型從GitHub上的服務(wù)器README鏈接過來的。
貓照片的邊緣是使用整體嵌套邊緣檢測(cè)（Holistically-Nested EdgeDetection）生成的，并且將功能添加到process.py腳本中，并將依賴項(xiàng)添加到Docker鏡像中。
除非另有說明，否則本網(wǎng)站上的所有代碼示例都以公共領(lǐng)域協(xié)議發(fā)布，并托管在GitHub上。
原文：http://affinelayer.com/pixsrv/
作者：Christopher Hesse
雷鋒網(wǎng)相關(guān)閱讀：
如何用 TensorFlow 搞定知乎驗(yàn)證碼；深層神經(jīng)網(wǎng)絡(luò)的致命問題詳解 | AI 開發(fā)者日?qǐng)?bào)
TensorFlow和Caffe、MXNet、Keras等其他深度學(xué)習(xí)框架的對(duì)比
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
