2
| 本文作者： 亞萌 | 2016-11-24 14:51 |
編者按：本文作者 Andrej Karpathy，由閱面科技翻譯整理。
卷積神經(jīng)網(wǎng)絡(luò)是非常強大的，它能在你的個人照片里識別出物體，地點和人物，又能在自動駕駛汽車里能識別出路標，行人和交通燈，還能在航空影像中識別出莊稼，森林和道路，在醫(yī)療圖像中識別出多種異常，諸如此類，不勝枚舉。在這些嚴肅的問題之外，這種高大上的視覺識別模型也可以用在消遣和娛樂上，博眾一笑。
在接下來我要給大家介紹的這個趣味實驗中，我們要做這樣一件事：我們從網(wǎng)絡(luò)中收集了2百萬張自拍圖，并將它們作為一個具有1億4千萬個參數(shù)，當今世界最先進的卷積神經(jīng)網(wǎng)絡(luò)模型的輸入，來訓練一個分類器用以識別好的自拍和差的自拍。這么做的原因僅僅是因為這很簡單，而且我們也能輕松實現(xiàn)。讀完本文，你將會學到如何自拍的法門。
在我們深入介紹這個實驗之前，我們先來簡單介紹一下卷積神經(jīng)網(wǎng)絡(luò)是什么，這樣能讓更多的受好奇心驅(qū)使閱讀本文的讀者不至于始終處于云山霧罩的狀態(tài)。用通俗一點的話來說，卷積神經(jīng)網(wǎng)絡(luò)是一把大錘，而計算機視覺問題不過是一些釘子。假如你在2015年聽說過或者閱讀過一些關(guān)于計算機如何識別圖像或者視頻中的物體的文章，大部分文章都會提到卷積神經(jīng)網(wǎng)絡(luò)。下面就是一些例子：
卷積神經(jīng)網(wǎng)絡(luò)眾多成功案例中的一部分。從上到下，從左到右依次是：街景圖片中識別門牌號，醫(yī)療圖像中識別壞東西，中文識別，路牌識別以及人臉識別。
卷積神經(jīng)網(wǎng)絡(luò)恰好有著一段有趣的背景故事。卷積神經(jīng)網(wǎng)絡(luò)最早是由Yann Lecun等人于上世紀80年代發(fā)展出來的技術(shù)（當然，還是基于前人，像是Fukushima的工作）。當時的卷積神經(jīng)網(wǎng)絡(luò)被叫做LeNet 1，其中一個有趣的應(yīng)用是在1993年用來識別數(shù)字?？上У氖牵@類模型并不被當時的計算機視覺界接受，因為大家普遍認為這些模型沒辦法處理“真實世界”中的海量圖片。
這種觀念一直到2012年才被扭轉(zhuǎn)過來，那一年開始我們總算有了足夠的計算能力（特指GPU計算）以及足夠的數(shù)據(jù)（ImageNet），使得我們能夠真正地將這類模型應(yīng)用到大規(guī)模的圖像上。首先取得突破的是Alex Krizhevsky，Ilya Sutskever和Geoff Hinton的工作，他們在2012年的ImageNet挑戰(zhàn)賽（把它當成計算機視覺界的世界杯即可）上取得了壓倒性的勝利（16.4%的錯誤率，遠低于第二名的26.2%的錯誤率）。
由于過去幾年的ImageNet挑戰(zhàn)賽是由Fei-Fei Li的實驗室組織的，恰好我就在她實驗室工作，因此我得以親眼見證了這一歷史的轉(zhuǎn)折點。我還記得當Hinton組的結(jié)果提交上來后，實驗室的一個妹子那一臉什么鬼的表情（因為實在太強了）。后來，我們大家都注意到了這個結(jié)果，紛紛站了起來，從實驗室的一頭走到另一頭，試圖去弄清楚剛才發(fā)生的一切。
在接下來的幾個月中，卷積神經(jīng)網(wǎng)絡(luò)從一個備受質(zhì)疑的晦澀模型一躍成為了計算機視覺界的香餑餑，幾乎所有新發(fā)表的計算機視覺論文都講其作為核心模型。ImageNet挑戰(zhàn)賽也反映出了這個趨勢——2012年的時候，只有Hinton一家用卷積神經(jīng)網(wǎng)絡(luò)模型參賽，在那之后的2013年和2014年挑戰(zhàn)賽中，幾乎所有的參賽者都采用了卷積神經(jīng)網(wǎng)絡(luò)模型。另一個有趣的現(xiàn)象是，每一年的冠軍小組都立刻被某一公司吸納。
這幾年里，比起2012年的AlexNet（這些模型名稱），我們見到了更加完美，簡潔并且處理更大規(guī)模的模型。2013年是ZFNet，2014年是GoogLeNet（這是Google版的LeNet，）和VGGNet?？傊?，現(xiàn)在我們知道卷積神經(jīng)網(wǎng)絡(luò)有如下優(yōu)點：
簡單：同一個操作在原始圖像上會被一遍一遍的重復(fù)數(shù)十次。
快速：在幾十毫秒內(nèi)處理一個圖像。
有效：他們的工作原理在某些方面和我們組的視覺皮層工作很類似。
那么，卷積神經(jīng)網(wǎng)絡(luò)模型到底是怎么做的呢？如果你看一下模型的細節(jié)，你將會發(fā)現(xiàn)一種極為簡潔的計算思想被重復(fù)了一遍又一遍。下面這張動圖描述了一個小型卷積神經(jīng)網(wǎng)絡(luò)的整個計算過程：
ConvNet推理過程的說明
在最左邊是我們的輸入，原始的圖像像素，我們可以用一個3維矩陣來表示它。例如，一個分辨率為256x256的圖像可以用一個256x256x3的矩陣來表示（這里的3表示RGB三個顏色）。接下去，我們就開始做卷積，聽上去很神奇，但實際上就是我們用一個小型濾波器從圖像的一頭滑動到另一頭，一行滑動到另一行。不同的濾波器對圖像中不同的特征有不同的反應(yīng)：有一些濾波器看到一個很小的水平邊緣就會很激動，還有一些會對紅色的區(qū)域很敏感，等等等等。
假設(shè)，我們有10種不同的濾波器，通過這種方式我們可以將原始（256，256，3）的圖像轉(zhuǎn)換成另一個（256，256，10）的“圖像”。在這個經(jīng)過變換后的“圖像”中，我們已經(jīng)將原始圖像中的信息舍去了，留下的是原始圖像每一個位置上對這10個濾波器的響應(yīng)。這就好像是我們將原始圖像的3個顏色通道（紅綠藍）變成10個濾波響應(yīng)通道（在動圖中，原始圖像的右側(cè)第一列就是經(jīng)過變換后的圖像）。
上面解釋了原始圖像右側(cè)第一列是怎么來的，那么，后面這些列又是怎么出來的呢？很簡單，繼續(xù)用濾波器對第一列的結(jié)果進行濾波得到第二列，對第二列濾波得到第三列，以此類推。不同的列會使用不同的濾波器組合對上一列進行操作，目的是漸進地去發(fā)現(xiàn)越來越復(fù)雜的視覺模式，而最后一組濾波器則是用來計算圖片的視覺分類概率（是汪星人還是癩蛤?。．斎?，中間省略了一些細節(jié)，只保留了基本思想：將卷積進行到底。
剛才介紹了卷積神經(jīng)網(wǎng)絡(luò)就是一個大型濾波器疊濾波器的集合。一個問題是，我們怎么知道該用什么樣的濾波器組合才能達到目的呢？實際上我們并不知道——最開始的時候我們完全隨機地選擇濾波器，然后一遍遍地訓練他們，讓他們變得更好。
下面開始舉例，我們給一個采用隨機濾波器的卷積神經(jīng)網(wǎng)絡(luò)輸入一張圖片，最后它會告訴我們這個圖里有54%的可能含有狗。接著，我們可以告訴它，這實際是一只癩蛤蟆，通過一個數(shù)學過程，這個卷積神經(jīng)網(wǎng)絡(luò)會小幅度地去調(diào)整它使用的濾波器，目的是為了當它下一次看到相同的圖是會告訴我們這張圖更可能有癩蛤蟆。我們要做的就是用數(shù)百萬的圖像重復(fù)這個過程數(shù)千萬次甚至數(shù)億次。下面就是見證奇跡的時刻，在卷積計算過程中所使用的不同濾波器會漸漸地調(diào)整自己去響應(yīng)圖像中重要的東西，例如眼睛，頭部，甚至整個身體等等。
上圖是從一個經(jīng)過訓練后的卷積神經(jīng)網(wǎng)絡(luò)中隨機選出12個濾波器，可以看看它們對圖像的什么部分響應(yīng)強烈。圖是從Matthew Zeiler的Visualizing and Understanding Convolutional Networks里借來的。這里展示的濾波器處于卷積的第三階段，看上去像是在尋找蜂窩狀的模式，或者是輪子/軀干/文字等等。再次強調(diào)，這并不是我們特意設(shè)置的。一切都是模型自發(fā)形成的，我們只能來檢視。
另一組非常優(yōu)秀的卷積神經(jīng)網(wǎng)絡(luò)可視化的例子可以從Jason Yosinki等人的Deepvis項目中找到。其中包含了一個非常有趣的演示，用你電腦上的攝像頭來實時地演示卷積神經(jīng)網(wǎng)絡(luò)的工作原理，Jason在下面這個視頻中還配上了非常棒的解說：
深度可視化工具箱
總結(jié)一下，卷積神經(jīng)網(wǎng)絡(luò)的整個訓練過程就好像是給一個小孩看許多物體的圖像，然后小孩要從中逐漸發(fā)現(xiàn)該在圖像中看什么以及怎么把這些物體找到。假如你更喜歡技術(shù)一點說法，那卷積神經(jīng)網(wǎng)絡(luò)是一個從圖像像素到分類概率的函數(shù)，濾波器是它的參數(shù)，我們采用隨機梯度下降法來優(yōu)化一個分類損失函數(shù)。如果你對什么人工智能，大腦，奇點著迷，那可以把這個函數(shù)說成是一個“深度神經(jīng)網(wǎng)絡(luò)”，這些濾波器是神經(jīng)元，而整個卷積神經(jīng)網(wǎng)絡(luò)就是一種自適應(yīng)的模擬視覺皮層組織。
卷積神經(jīng)網(wǎng)絡(luò)的一個優(yōu)點就是你可以輸入任何圖像，只要你喜歡（帶上一些標簽），然后它們就開始學習如何識別這些標簽了。在這個例子里，我們將一些好的自拍和差的自拍作為卷積神經(jīng)網(wǎng)絡(luò)的輸入，接著它將神奇的發(fā)現(xiàn)如何區(qū)分一張自拍照是好的還是差的。讓我們先搞點自拍圖：
我寫了一個小腳本來抓取帶有#selfie標簽的圖片。最后我抓了大概500萬張圖片（在卷積神經(jīng)網(wǎng)絡(luò)中，圖片總是多多益善）。
我用另一個卷積神經(jīng)網(wǎng)絡(luò)將這500萬張圖中不帶人臉的圖片扔了，最后還剩下200萬張圖片。
接下去就是去挑選哪些自拍是好的，哪些自拍是差的。直觀上講，我們需要去計算一張自拍有多少人看過，然后將點贊的人數(shù)和粉絲群體的大小用一個函數(shù)關(guān)聯(lián)起來。首先，我拿了所有的自拍用戶，并將他們按照粉絲的數(shù)量進行排序，排序時，我會給圖片上每一個額外的標簽加一些些分，因為額外的標簽也許能吸引更多的目光。
接下來，我將這些排好序用戶以100為大小分組，根據(jù)點贊的數(shù)量對這100張自拍圖進行排序。這里我只選用了已經(jīng)在網(wǎng)上掛了超過一個月的圖，目的是得到一個比較穩(wěn)定的點贊數(shù)。我將排在前面的50張自拍作為好的自拍，排在后50張的自拍作為差的自拍。最終，我們將整個200萬張圖一分為二，一半是好的自拍一半是差的自拍，然后我們又對可能看過所有自拍的人數(shù)做了一次歸一化處理。我還將那些粉絲數(shù)量太少或者太多的用戶過濾掉了，還有一些圖片上有太多標簽的也被過濾了。
用上面這個100萬好自拍，100萬差自拍的數(shù)據(jù)集來訓練一個卷積神經(jīng)網(wǎng)絡(luò)。
到這里，你可能會反對我判斷一張自拍是好是差的方法——比如說，有人上傳了一張非常棒的自拍，但是上傳時間是半夜，因此可能不會有很多人看到它，那它得到的點贊也就少了，這時候該怎么辦？你說的對——我的這種分類方法肯定有問題，不過沒關(guān)系，只要這100萬張好自拍中真正好的自拍更多就行了，卷積神經(jīng)網(wǎng)絡(luò)可以處理這種事情。它不會因此而迷惑或者氣餒，它只是盡自己的全力去解讀這些輸入。為了讓大家對區(qū)分好差自拍這個問題的難度有一個感性認識，我把一些訓練用的圖像貼在下面。假如我給你任意一張圖，你能很準確的回答它是好自拍還是差自拍嗎？
在我們的訓練數(shù)據(jù)中顯示好和壞自拍的示例圖像。 這些將作為數(shù)據(jù)提供給ConvNe
簡單介紹一些實現(xiàn)細節(jié)，我用了Caffe來訓練這個卷積神經(jīng)網(wǎng)絡(luò)。我用了一個在ImageNet預(yù)訓練過的VGGNet，并針對這次的自拍數(shù)據(jù)集精調(diào)了參數(shù)。我用一塊英偉達K40GPU花了一個通宵來訓練這個模型。我禁用了模型中的 dropout選項，因為我發(fā)現(xiàn)禁用的結(jié)果更好一些。我還試著用一個在人臉數(shù)據(jù)集上預(yù)訓練的VGGNet，不過結(jié)果并不比ImageNet預(yù)訓練的好。最終，模型在測試集上達到了60%的準確率 （比隨機猜50%的準確率好一些）。
剛才說道，我們收集了200萬的自拍圖，又根據(jù)它們接受到的點贊數(shù)（對粉絲數(shù)量做了控制）將他們分成了好的自拍和差的自拍，然后將它們?nèi)舆MCaffe來訓練一個卷積神經(jīng)網(wǎng)絡(luò)。這個卷積神經(jīng)網(wǎng)絡(luò)將每一張自拍都了“看”數(shù)十次，以此來調(diào)整它使用的濾波器，為了找到一種最佳的方式來區(qū)分好自拍和差自拍。我們沒辦法去確切地檢查它找出來的東西（這些濾波器的參數(shù)總共有1億4千萬個）。不過呢，我可以用它沒見過的自拍圖問它是好是差，進而去理解它是通過什么來判斷一張自拍的好與差的。
我用了5萬張自拍圖作為我的測試數(shù)據(jù)（這些自拍圖是這個卷積神經(jīng)網(wǎng)絡(luò)沒見過的）。作為第一個可視化結(jié)果，下面這張圖里我將這些自拍圖按照從好到差的順序排列出來，最好的自拍在最上面一排，最差的自拍在最下面一排：
從最佳（頂部）到最差（底部）自拍的連續(xù)體，由ConvNet判斷。
挺有趣的，是吧？下面讓我們看看這個卷積神經(jīng)網(wǎng)絡(luò)認為的最好的100張自拍圖（從5萬張圖的測試集中選出）是什么樣子的：
最好的100張自拍照，由卷積神經(jīng)網(wǎng)絡(luò)判斷
要拍出一張好自拍，有如下要點：
1.首先你得是個女人. 女性的自拍一致地比男的自拍要好。特別是在前100張好自拍中，無一例外全是女性。
2.其次你的臉得占整個自拍的三分之一。注意到?jīng)]有，在排名靠前的自拍圖中，臉的位置和姿態(tài)出奇的一致。臉總是占據(jù)了整個圖片的1/3，臉要微微側(cè)過來一些，位置要在圖片的中上方。
3.將你的額頭截掉。至少對于女性來說它看起來像一個非常流行的策略。
4.展示你的長發(fā)，披肩長發(fā)能給你的自拍加分不少。
5.臉部要過飽和。光線過飽和在好自拍中經(jīng)常出現(xiàn), 這能讓臉部看來更加光滑白皙。
6.要使用濾鏡。黑白照看起來能加分, 大部分排名靠前的自拍看起來都用了某種濾鏡是的整個圖片帶有淡出效果并能降低對比度。
7.加上邊框。好自拍通常都會加上水平或者垂直的白邊。
有趣的是，這里的有些原則在男性身上就行不通了。我從前2000張自拍中找出了所有男性自拍，如下圖：
從2000自拍中選出來的幾個最好的男性自拍
很明顯，額頭截斷的情況沒有出現(xiàn)。相反，大部分自拍都會用稍廣的角度將整個腦袋都拍進去，還要露出肩膀。還有，大多數(shù)的男性頭發(fā)稍長，發(fā)型浮夸，還精心把頭發(fā)往上梳。不過，臉部過飽和這個特點還是能夠看得出來。
看過了好自拍，讓我們再來看看壞自拍是啥樣的。這次，我把圖片縮的很小讓大家看不出來是誰，因為我的目的是讓大家發(fā)現(xiàn)降低自拍質(zhì)量的普遍模式是什么，而不是讓大家看看拍了差自拍的都有誰。下圖是卷積神經(jīng)網(wǎng)絡(luò)認為比較差的自拍，很顯然，它們的點贊數(shù)一定很低：
由卷積神經(jīng)網(wǎng)絡(luò)判斷出的最糟糕的300萬自拍
即便在這么低的分辨率下，我們還是能看出一些道道的。自拍時千萬不要:
1.在弱光環(huán)境下自拍。非常明顯, 那些很暗的照片 (通常也帶有大量噪點) 肯定會被卷積神經(jīng)網(wǎng)絡(luò)打一個很低的分數(shù)。
2.把你的腦袋放太大。 這一條大概是因為沒人愿意湊這么近看你的臉。
3.拍合照。和小伙伴們一起自拍是很有趣，不過這會讓你的自拍減分。構(gòu)圖要簡潔，你一個人出鏡就夠了，但也別占據(jù)鏡頭太多。
4.最后，區(qū)分一張自拍的好與差，很大程度上是看圖片的風格，而不是看本人長得好不好。還有一點讓我感到欣慰的是，那些露肉很多的自拍并不能讓它們的得分變高。最開始的時候，我還擔心這個屌炸天的卷積神經(jīng)網(wǎng)絡(luò)會變成一個露肉分辨器?？磥硎俏蚁攵嗔?。
那么作為明星們的自拍又是如何呢？作為最后一個有意思的實驗, 我試著讓這個卷積神經(jīng)網(wǎng)絡(luò)給一些明星的自拍打個分。下圖中，得分從上到下，從左至右依次減少：
卷積神經(jīng)網(wǎng)絡(luò)為名人自拍做出的判斷。最有吸引力的自拍：左上方
神奇的是，我們之前總結(jié)出來的一條經(jīng)驗規(guī)律（不要拍合照）在這次實驗中不再有效了，像是艾倫·狄珍妮的知名合照，還有一些奧斯卡頒獎時候的合照得分都很高，排在了第二排。棒！
另一條經(jīng)驗規(guī)律（男的自拍都不行）被克里斯·帕拉特的裸上身自拍（也排在第二排）妥妥地打破了，還有一些男明星的自拍得分也很高，像是丁日的挑眉照，扣扣熊和肥倫的合照（排在第三排）。然而詹姆斯·弗蘭科那近乎限制級的自拍（排在第四排）卻并沒有讓我們的卷積神經(jīng)網(wǎng)絡(luò)留下很好的印象。
最后強調(diào)一點，圖片的風格很重要。有幾個長得絕對好看的人依舊排在了榜單的末尾，就是因為構(gòu)圖不行，或者是光線不行等等。
我們還嘗試了另一種有趣的可視化方法t-SNE，來展示這些自拍圖。t-SNE是一種非常美妙的算法，由于它非常通用而且高效，我喜歡在幾乎所有數(shù)據(jù)上先試試用這個來一次。它需要輸入一些東西（這個例子里就是圖片），然后將他們按照相似相鄰的原則排列。
事實上，用t-SNE可以排列很多東西，像是Netflix的電影，單詞，Twitter的個人資料，ImageNet的圖片，任何東西只要量足夠而且可比較就行。在這里，我們將自拍圖按照卷積神經(jīng)網(wǎng)絡(luò)認為的相似程度來排列。用專業(yè)術(shù)語來說，我們采用了最后一個全連接層中的fc7激活的L2范數(shù)來確定每張圖的得分進而比較其相似程度。下面是可視化結(jié)果：
自拍 t-SNE可視化
從而大家可以看出自拍圖以一種有趣的方式聚成了組：比如說，左上方是自拍合照，中左方是戴太陽鏡/眼鏡的自拍，左下是大頭照，右上有不少是對著鏡子來的全身照。我覺得這種現(xiàn)象還挺有趣的。
我們還做了另一個有趣的實驗，用卷積神經(jīng)網(wǎng)絡(luò)自動找出一張自拍圖的最優(yōu)裁剪。我們先拍一張照片，隨機對其進行許多種可能的裁剪，然后把卷積神經(jīng)網(wǎng)絡(luò)認為最好的一張選出來。下面是4組實驗結(jié)果，左側(cè)是原圖，右側(cè)是最好的裁剪圖：
四個對中的每一對顯示原始圖像（左）和ConvNet選擇為最佳（右）的圖像
注意到?jīng)]有，卷積神經(jīng)網(wǎng)絡(luò)還是喜歡那種頭占據(jù)圖片1/3大小，額頭被切掉一部分的自拍。有趣的是，在右下這組實驗中，卷積神經(jīng)網(wǎng)絡(luò)覺得沒有人的圖反而好，完全不對勁了有沒有。下面還有一些類似的例子，卷積神經(jīng)網(wǎng)絡(luò)做出了不講道理的選擇：
原圖在左，裁剪圖在右
在一些行家提問之前，我先回答了：是的，我試過在原始圖像之后，卷積神經(jīng)網(wǎng)絡(luò)之前插入一層空域變換層。我希望能得到了一個用6個參數(shù)表達任意裁剪的模型。不幸的是，這種方法不可行——優(yōu)化有時候會卡住，或者任意偏向一個位置。我還嘗試過對變換加一些約束，只做放縮和平移，可惜還是沒用。幸運的是，如果這變換有三個有界的參數(shù)，那我們還是可以承受得起全局搜索最優(yōu)解的。
你的自拍能打幾分？
是不是想看看你的自拍能得幾分？我們已經(jīng)將這個網(wǎng)絡(luò)做成了一個Twitter機器人，方便大家來自測。（這個機器人大概只有150行的Python代碼，還包括了所有用到的Caffe/Tweepy代碼）。將你的圖片（或者鏈接）放在推文中，在推文的任意位置加上@deepselfie。
機器人會看下你的照片給出一個打分！為了得到最佳結(jié)果，自拍圖最好是正方形的，否則機器人會先將它壓成正方形，這會讓最終的得分變低。機器人會在一分鐘內(nèi)回復(fù)你，如果沒出問題的話（出問題的時候，等一會兒再試一次）。
延伸閱讀：
科大訊飛創(chuàng)始人劉慶峰：17年AI從業(yè)經(jīng)驗，從這10000字長文中一窺
谷歌翻譯里程碑：基于單一模型的 Zero-Shot 系統(tǒng)正式上線
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
