1
雷鋒網(wǎng)按：本文作者陳俊，原文載于作者個人博客，雷鋒網(wǎng)已獲授權(quán)。
GAN網(wǎng)絡是近兩年深度學習領(lǐng)域的新秀，火的不行，本文旨在淺顯理解傳統(tǒng)GAN，分享學習心得?，F(xiàn)有GAN網(wǎng)絡大多數(shù)代碼實現(xiàn)使用Python、torch等語言，這里，后面用matlab搭建一個簡單的GAN網(wǎng)絡，便于理解GAN原理。
GAN的鼻祖之作是2014年NIPS一篇文章：Generative Adversarial Net，可以細細品味。
● 分享一個目前各類GAN的一個論文整理集合
● 再分享一個目前各類GAN的一個代碼整理集合
我們知道GAN的思想是是一種二人零和博弈思想（two-player game），博弈雙方的利益之和是一個常數(shù)，比如兩個人掰手腕，假設總的空間是一定的，你的力氣大一點，那你就得到的空間多一點，相應的我的空間就少一點，相反我力氣大我就得到的多一點，但有一點是確定的就是，我兩的總空間是一定的，這就是二人博弈，但是呢總利益是一定的。
引申到GAN里面就是可以看成，GAN中有兩個這樣的博弈者，一個人名字是生成模型（G），另一個人名字是判別模型（D）。他們各自有各自的功能。
相同點是：
● 這兩個模型都可以看成是一個黑匣子，接受輸入然后有一個輸出，類似一個函數(shù)，一個輸入輸出映射。
不同點是：
● 生成模型功能：比作是一個樣本生成器，輸入一個噪聲/樣本，然后把它包裝成一個逼真的樣本，也就是輸出。
● 判別模型：比作一個二分類器（如同0-1分類器），來判斷輸入的樣本是真是假。（就是輸出值大于0.5還是小于0.5）;
直接上一張個人覺得解釋的好的圖說明：
在之前，我們首先明白在使用GAN的時候的2個問題
● 我們有什么？
比如上面的這個圖，我們有的只是真實采集而來的人臉樣本數(shù)據(jù)集，僅此而已，而且很關(guān)鍵的一點是我們連人臉數(shù)據(jù)集的類標簽都沒有，也就是我們不知道那個人臉對應的是誰。
● 我們要得到什么
至于要得到什么，不同的任務得到的東西不一樣，我們只說最原始的GAN目的，那就是我們想通過輸入一個噪聲，模擬得到一個人臉圖像，這個圖像可以非常逼真以至于以假亂真。
好了再來理解下GAN的兩個模型要做什么。首先判別模型，就是圖中右半部分的網(wǎng)絡，直觀來看就是一個簡單的神經(jīng)網(wǎng)絡結(jié)構(gòu)，輸入就是一副圖像，輸出就是一個概率值，用于判斷真假使用（概率值大于0.5那就是真，小于0.5那就是假），真假也不過是人們定義的概率而已。其次是生成模型，生成模型要做什么呢，同樣也可以看成是一個神經(jīng)網(wǎng)絡模型，輸入是一組隨機數(shù)Z，輸出是一個圖像，不再是一個數(shù)值而已。從圖中可以看到，會存在兩個數(shù)據(jù)集，一個是真實數(shù)據(jù)集，這好說，另一個是假的數(shù)據(jù)集，那這個數(shù)據(jù)集就是有生成網(wǎng)絡造出來的數(shù)據(jù)集。好了根據(jù)這個圖我們再來理解一下GAN的目標是要干什么：
● 判別網(wǎng)絡的目的：就是能判別出來屬于的一張圖它是來自真實樣本集還是假樣本集。假如輸入的是真樣本，網(wǎng)絡輸出就接近1，輸入的是假樣本，網(wǎng)絡輸出接近0，那么很完美，達到了很好判別的目的。
● 生成網(wǎng)絡的目的：生成網(wǎng)絡是造樣本的，它的目的就是使得自己造樣本的能力盡可能強，強到什么程度呢，你判別網(wǎng)絡沒法判斷我是真樣本還是假樣本。
有了這個理解我們再來看看為什么叫做對抗網(wǎng)絡了。判別網(wǎng)絡說，我很強，來一個樣本我就知道它是來自真樣本集還是假樣本集。生成網(wǎng)絡就不服了，說我也很強，我生成一個假樣本，雖然我生成網(wǎng)絡知道是假的，但是你判別網(wǎng)絡不知道呀，我包裝的非常逼真，以至于判別網(wǎng)絡無法判斷真假，那么用輸出數(shù)值來解釋就是，生成網(wǎng)絡生成的假樣本進去了判別網(wǎng)絡以后，判別網(wǎng)絡給出的結(jié)果是一個接近0.5的值，極限情況就是0.5，也就是說判別不出來了，這就是納什平衡了。
由這個分析可以發(fā)現(xiàn)，生成網(wǎng)絡與判別網(wǎng)絡的目的正好是相反的，一個說我能判別的好，一個說我讓你判別不好。所以叫做對抗，叫做博弈。那么最后的結(jié)果到底是誰贏呢？這就要歸結(jié)到設計者，也就是我們希望誰贏了。作為設計者的我們，我們的目的是要得到以假亂真的樣本，那么很自然的我們希望生成樣本贏了，也就是希望生成樣本很真，判別網(wǎng)絡能力不足以區(qū)分真假樣本位置。
知道了GAN大概的目的與設計思路，那么一個很自然的問題來了就是我們該如何用數(shù)學方法解決這么一個對抗問題。這就涉及到如何訓練這樣一個生成對抗網(wǎng)絡模型了，還是先上一個圖，用圖來解釋最直接：
需要注意的是生成模型與對抗模型可以說是完全獨立的兩個模型，好比就是完全獨立的兩個神經(jīng)網(wǎng)絡模型，他們之間沒有什么聯(lián)系。
好了那么訓練這樣的兩個模型的大方法就是：單獨交替迭代訓練。
什么意思？因為是2個網(wǎng)絡，不好一起訓練，所以才去交替迭代訓練，我們一一來看。
假設現(xiàn)在生成網(wǎng)絡模型已經(jīng)有了（當然可能不是最好的生成網(wǎng)絡），那么給一堆隨機數(shù)組，就會得到一堆假的樣本集（因為不是最終的生成模型，那么現(xiàn)在生成網(wǎng)絡可能就處于劣勢，導致生成的樣本就不咋地，可能很容易就被判別網(wǎng)絡判別出來了說這貨是假冒的），但是先不管這個，假設我們現(xiàn)在有了這樣的假樣本集，真樣本集一直都有，現(xiàn)在我們?nèi)藶榈亩x真假樣本集的標簽，因為我們希望真樣本集的輸出盡可能為1，假樣本集為0，很明顯這里我們就已經(jīng)默認真樣本集所有的類標簽都為1，而假樣本集的所有類標簽都為0. 有人會說，在真樣本集里面的人臉中，可能張三人臉和李四人臉不一樣呀，對于這個問題我們需要理解的是，我們現(xiàn)在的任務是什么，我們是想分樣本真假，而不是分真樣本中那個是張三label、那個是李四label。況且我們也知道，原始真樣本的label我們是不知道的?；剡^頭來，我們現(xiàn)在有了真樣本集以及它們的label（都是1）、假樣本集以及它們的label（都是0），這樣單就判別網(wǎng)絡來說，此時問題就變成了一個再簡單不過的有監(jiān)督的二分類問題了，直接送到神經(jīng)網(wǎng)絡模型中訓練就完事了。假設訓練完了，下面我們來看生成網(wǎng)絡。
對于生成網(wǎng)絡，想想我們的目的，是生成盡可能逼真的樣本。那么原始的生成網(wǎng)絡生成的樣本你怎么知道它真不真呢？就是送到判別網(wǎng)絡中，所以在訓練生成網(wǎng)絡的時候，我們需要聯(lián)合判別網(wǎng)絡一起才能達到訓練的目的。什么意思？就是如果我們單單只用生成網(wǎng)絡，那么想想我們怎么去訓練？誤差來源在哪里？細想一下沒有，但是如果我們把剛才的判別網(wǎng)絡串接在生成網(wǎng)絡的后面，這樣我們就知道真假了，也就有了誤差了。所以對于生成網(wǎng)絡的訓練其實是對生成-判別網(wǎng)絡串接的訓練，就像圖中顯示的那樣。好了那么現(xiàn)在來分析一下樣本，原始的噪聲數(shù)組Z我們有，也就是生成了假樣本我們有，此時很關(guān)鍵的一點來了，我們要把這些假樣本的標簽都設置為1，也就是認為這些假樣本在生成網(wǎng)絡訓練的時候是真樣本。那么為什么要這樣呢？我們想想，是不是這樣才能起到迷惑判別器的目的，也才能使得生成的假樣本逐漸逼近為正樣本。好了，重新順一下思路，現(xiàn)在對于生成網(wǎng)絡的訓練，我們有了樣本集（只有假樣本集，沒有真樣本集），有了對應的label（全為1），是不是就可以訓練了？有人會問，這樣只有一類樣本，訓練啥呀？誰說一類樣本就不能訓練了？只要有誤差就行。還有人說，你這樣一訓練，判別網(wǎng)絡的網(wǎng)絡參數(shù)不是也跟著變嗎？沒錯，這很關(guān)鍵，所以在訓練這個串接的網(wǎng)絡的時候，一個很重要的操作就是不要判別網(wǎng)絡的參數(shù)發(fā)生變化，也就是不讓它參數(shù)發(fā)生更新，只是把誤差一直傳，傳到生成網(wǎng)絡那塊后更新生成網(wǎng)絡的參數(shù)。這樣就完成了生成網(wǎng)絡的訓練了。
在完成生成網(wǎng)絡訓練好，那么我們是不是可以根據(jù)目前新的生成網(wǎng)絡再對先前的那些噪聲Z生成新的假樣本了，沒錯，并且訓練后的假樣本應該是更真了才對。然后又有了新的真假樣本集（其實是新的假樣本集），這樣又可以重復上述過程了。我們把這個過程稱作為單獨交替訓練。我們可以實現(xiàn)定義一個迭代次數(shù)，交替迭代到一定次數(shù)后停止即可。這個時候我們再去看一看噪聲Z生成的假樣本會發(fā)現(xiàn)，原來它已經(jīng)很真了。
看完了這個過程是不是感覺GAN的設計真的很巧妙，個人覺得最值得稱贊的地方可能在于這種假樣本在訓練過程中的真假變換，這也是博弈得以進行的關(guān)鍵之處。
文字的描述相信已經(jīng)讓大多數(shù)的人知道了這個過程，下面我們來看看原文中幾個重要的數(shù)學公式描述，首先我們直接上原始論文中的目標公式吧：
上述這個公式說白了就是一個最大最小優(yōu)化問題，其實對應的也就是上述的兩個優(yōu)化過程。有人說如果不看別的，能達看到這個公式就拍案叫絕的地步，那就是機器學習的頂級專家，哈哈，真是前路漫漫。同時也說明這個簡單的公式意義重大。
這個公式既然是最大最小的優(yōu)化，那就不是一步完成的，其實對比我們的分析過程也是這樣的，這里現(xiàn)優(yōu)化D，然后在取優(yōu)化G，本質(zhì)上是兩個優(yōu)化問題，把拆解就如同下面兩個公式：
優(yōu)化D：
優(yōu)化G：
可以看到，優(yōu)化D的時候，也就是判別網(wǎng)絡，其實沒有生成網(wǎng)絡什么事，后面的G(z)這里就相當于已經(jīng)得到的假樣本。優(yōu)化D的公式的第一項，使的真樣本x輸入的時候，得到的結(jié)果越大越好，可以理解，因為需要真樣本的預測結(jié)果越接近于1越好嘛。對于假樣本，需要優(yōu)化是的其結(jié)果越小越好，也就是D(G(z))越小越好，因為它的標簽為0。但是呢第一項是越大，第二項是越小，這不矛盾了，所以呢把第二項改成1-D(G(z))，這樣就是越大越好，兩者合起來就是越大越好。 那么同樣在優(yōu)化G的時候，這個時候沒有真樣本什么事，所以把第一項直接卻掉了。這個時候只有假樣本，但是我們說這個時候是希望假樣本的標簽是1的，所以是D(G(z))越大越好，但是呢為了統(tǒng)一成1-D(G(z))的形式，那么只能是最小化1-D(G(z))，本質(zhì)上沒有區(qū)別，只是為了形式的統(tǒng)一。之后這兩個優(yōu)化模型可以合并起來寫，就變成了最開始的那個最大最小目標函數(shù)了。
所以回過頭來我們來看這個最大最小目標函數(shù)，里面包含了判別模型的優(yōu)化，包含了生成模型的以假亂真的優(yōu)化，完美的闡釋了這樣一個優(yōu)美的理論。
有人說GAN強大之處在于可以自動的學習原始真實樣本集的數(shù)據(jù)分布，不管這個分布多么的復雜，只要訓練的足夠好就可以學出來。針對這一點，感覺有必要好好理解一下為什么別人會這么說。
我們知道，傳統(tǒng)的機器學習方法，我們一般都會定義一個什么模型讓數(shù)據(jù)去學習。比如說假設我們知道原始數(shù)據(jù)屬于高斯分布呀，只是不知道高斯分布的參數(shù)，這個時候我們定義高斯分布，然后利用數(shù)據(jù)去學習高斯分布的參數(shù)得到我們最終的模型。再比如說我們定義一個分類器，比如SVM，然后強行讓數(shù)據(jù)進行東變西變，進行各種高維映射，最后可以變成一個簡單的分布，SVM可以很輕易的進行二分類分開，其實SVM已經(jīng)放松了這種映射關(guān)系了，但是也是給了一個模型，這個模型就是核映射（什么徑向基函數(shù)等等），說白了其實也好像是你事先知道讓數(shù)據(jù)該怎么映射一樣，只是核映射的參數(shù)可以學習罷了。所有的這些方法都在直接或者間接的告訴數(shù)據(jù)你該怎么映射一樣，只是不同的映射方法能力不一樣。那么我們再來看看GAN，生成模型最后可以通過噪聲生成一個完整的真實數(shù)據(jù)（比如人臉），說明生成模型已經(jīng)掌握了從隨機噪聲到人臉數(shù)據(jù)的分布規(guī)律了，有了這個規(guī)律，想生成人臉還不容易。然而這個規(guī)律我們開始知道嗎？顯然不知道，如果讓你說從隨機噪聲到人臉應該服從什么分布，你不可能知道。這是一層層映射之后組合起來的非常復雜的分布映射規(guī)律。然而GAN的機制可以學習到，也就是說GAN學習到了真實樣本集的數(shù)據(jù)分布。
再拿原論文中的一張圖來解釋：
這張圖表明的是GAN的生成網(wǎng)絡如何一步步從均勻分布學習到正太分布的。原始數(shù)據(jù)x服從正太分布，這個過程你也沒告訴生成網(wǎng)絡說你得用正太分布來學習，但是生成網(wǎng)絡學習到了。假設你改一下x的分布，不管什么分布，生成網(wǎng)絡可能也能學到。這就是GAN可以自動學習真實數(shù)據(jù)的分布的強大之處。
還有人說GAN強大之處在于可以自動的定義潛在損失函數(shù)。 什么意思呢，這應該說的是判別網(wǎng)絡可以自動學習到一個好的判別方法，其實就是等效的理解為可以學習到好的損失函數(shù)，來比較好或者不好的判別出來結(jié)果。雖然大的loss函數(shù)還是我們?nèi)藶槎x的，基本上對于多數(shù)GAN也都這么定義就可以了，但是判別網(wǎng)絡潛在學習到的損失函數(shù)隱藏在網(wǎng)絡之中，不同的問題這個函數(shù)就不一樣，所以說可以自動學習這個潛在的損失函數(shù)。
本節(jié)主要實驗一下如何通過隨機數(shù)組生成mnist圖像。mnist手寫體數(shù)據(jù)庫應該都熟悉的。這里簡單的使用matlab來實現(xiàn)，方便看到整個實現(xiàn)過程。這里用到了一個工具箱 DeepLearnToolbox，關(guān)于該工具箱的一些其他使用說明。
網(wǎng)絡結(jié)構(gòu)很簡單，就定義成下面這樣子：
將上述工具箱添加到路徑，然后運行下面代碼：
clc
clear
%% 構(gòu)造真實訓練樣本 60000個樣本 1*784維（28*28展開）
load mnist_uint8;
train_x = double(train_x(1:60000,:)) / 255;
% 真實樣本認為為標簽 [1 0]； 生成樣本為[0 1];
train_y = double(ones(size(train_x,1),1));
% normalize
train_x = mapminmax(train_x, 0, 1);
rand('state',0)
%% 構(gòu)造模擬訓練樣本 60000個樣本 1*100維
test_x = normrnd(0,1,[60000,100]); % 0-255的整數(shù)
test_x = mapminmax(test_x, 0, 1);
test_y = double(zeros(size(test_x,1),1));
test_y_rel = double(ones(size(test_x,1),1));
%%
nn_G_t = nnsetup([100 784]);
nn_G_t.activation_function = 'sigm';
nn_G_t.output = 'sigm';
nn_D = nnsetup([784 100 1]);
nn_D.weightPenaltyL2 = 1e-4; % L2 weight decay
nn.dropoutFraction = 0.5; % Dropout fraction
nn.learningRate = 0.01; % Sigm require a lower learning rate
nn_D.activation_function = 'sigm';
nn_D.output = 'sigm';
% nn_D.weightPenaltyL2 = 1e-4; % L2 weight decay
nn_G = nnsetup([100 784 100 1]);
nn_D.weightPenaltyL2 = 1e-4; % L2 weight decay
nn.dropoutFraction = 0.5; % Dropout fraction
nn.learningRate = 0.01; % Sigm require a lower learning rate
nn_G.activation_function = 'sigm';
nn_G.output = 'sigm';
% nn_G.weightPenaltyL2 = 1e-4; % L2 weight decay
opts.numepochs = 1; % Number of full sweeps through data
opts.batchsize = 100; % Take a mean gradient step over this many samples
%%
num = 1000;
tic
for each = 1:1500
%----------計算G的輸出：假樣本-------------------
for i = 1:length(nn_G_t.W) %共享網(wǎng)絡參數(shù)
nn_G_t.W{i} = nn_G.W{i};
end
G_output = nn_G_out(nn_G_t, test_x);
%-----------訓練D------------------------------
index = randperm(60000);
train_data_D = [train_x(index(1:num),:);G_output(index(1:num),:)];
train_y_D = [train_y(index(1:num),:);test_y(index(1:num),:)];
nn_D = nntrain(nn_D, train_data_D, train_y_D, opts);%訓練D
%-----------訓練G-------------------------------
for i = 1:length(nn_D.W) %共享訓練的D的網(wǎng)絡參數(shù)
nn_G.W{length(nn_G.W)-i+1} = nn_D.W{length(nn_D.W)-i+1};
end
%訓練G：此時假樣本標簽為1，認為是真樣本
nn_G = nntrain(nn_G, test_x(index(1:num),:), test_y_rel(index(1:num),:), opts);
end
toc
for i = 1:length(nn_G_t.W)
nn_G_t.W{i} = nn_G.W{i};
end
fin_output = nn_G_out(nn_G_t, test_x);
函數(shù)nn_G_out為：
function output = nn_G_out(nn, x)
nn.testing = 1;
nn = nnff(nn, x, zeros(size(x,1), nn.size(end)));
nn.testing = 0;
output = nn.a{end};
end
看一下這個及其簡單的函數(shù)，其實最值得注意的就是中間那個交替訓練的過程，這里我分了三步列出來：
● 重新計算假樣本（假樣本每次是需要更新的，產(chǎn)生越來越像的樣本）
● 訓練D網(wǎng)絡，一個二分類的神經(jīng)網(wǎng)絡；
● 訓練G網(wǎng)絡，一個串聯(lián)起來的長網(wǎng)絡，也是一個二分類的神經(jīng)網(wǎng)絡（不過只有假樣本來訓練），同時D部分參數(shù)在下一次的時候不能變了。
就這樣調(diào)一調(diào)參數(shù)，最終輸出在fin_output里面，多運行幾次顯示不同運行次數(shù)下的結(jié)果：
可以看到的是結(jié)果還是有點像模像樣的。
運行上述簡單的網(wǎng)絡我發(fā)現(xiàn)幾個問題：
● 網(wǎng)絡存在著不收斂問題；網(wǎng)絡不穩(wěn)定；網(wǎng)絡難訓練；讀過原論文其實作者也提到過這些問題，包括GAN剛出來的時候，很多人也在致力于解決這些問題，當你實驗自己碰到的時候，還是很有意思的。那么這些問題怎么體現(xiàn)的呢，舉個例子，可能某一次你會發(fā)現(xiàn)訓練的誤差很小，在下一代訓練時，馬上又出現(xiàn)極限性的上升的很厲害，過幾代又發(fā)現(xiàn)訓練誤差很小，震蕩太嚴重。
● 其次網(wǎng)絡需要調(diào)才能出像樣的結(jié)果。交替迭代次數(shù)的不同結(jié)果也不一樣。比如每一代訓練中，D網(wǎng)絡訓練2回，G網(wǎng)絡訓練一回，結(jié)果就不一樣。
● 這是簡單的無條件GAN，所以每一代訓練完后，只能出現(xiàn)一個結(jié)果，那就是0-9中的某一個數(shù)。要想在一代訓練中出現(xiàn)好幾種結(jié)果，就需要使用到條件GAN了。
現(xiàn)在的GAN已經(jīng)到了五花八門的時候了，各種GAN應用也很多，理解底層原理再慢慢往上層擴展。GAN還是一個很厲害的東西，它使得現(xiàn)有問題從有監(jiān)督學習慢慢過渡到無監(jiān)督學習，而無監(jiān)督學習才是自然界中普遍存在的，因為很多時候沒有辦法拿到監(jiān)督信息的。要不 Yann Lecun 贊嘆 GAN 是機器學習近十年來最有意思的想法。
雷鋒網(wǎng)相關(guān)閱讀：
深度學習之神經(jīng)網(wǎng)絡特訓班
20年清華大學神經(jīng)網(wǎng)絡授課導師鄧志東教授，帶你系統(tǒng)學習人工智能之神經(jīng)網(wǎng)絡理論及應用！
課程鏈接：http://www.mooc.ai/course/65
加入AI慕課學院人工智能學習交流QQ群：624413030，與AI同行一起交流成長
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
