0
| 本文作者： 貝爽 | 2020-11-23 17:31 |
既然你誠心誠意的發(fā)問了，我們就大發(fā)慈悲的告訴你！
為了防止世界被破壞，為了守護(hù)世界的和平，貫徹愛與真實的邪惡，可愛又迷人的反派角色....
聽到這段臺詞，相信很多朋友都會不由自主地接上一句.......
我們是穿梭在銀河的火箭隊！白洞！白色的明天在等著我們！
就這樣~喵~
沒錯，它就是《神奇寶貝》中火箭隊每次出場都讓人忍不住發(fā)笑的經(jīng)典臺詞。
1997年上映的《神奇寶貝》已經(jīng)陪伴了我們二十年之久，給不少80、90后的童年留下了美好的回憶，尤其是那800多只寵物小精靈。
會放電的皮卡丘、經(jīng)常酣睡的妙蛙種子、不好惹的小火龍，還有喵喵、超夢、可達(dá)鴨。
這些可可愛愛又奇奇怪怪的動漫小精靈讓人記憶猶新，相信很多人小時候都幻想過擁有一支屬于自己的精靈寶貝。
最近，一位名為Matthew Rayfield的程序員就滿足了自己的愿望。他用《神奇寶貝》中的788只動漫形象作為原型，通過AI生成了3000個全新的寵物小精靈。
而這個AI正是自然語言模型GPT-2.
提到NLP模型，我們印象最深的可能是GPT-3。今年該模型因1750億超大參數(shù)量和超強(qiáng)應(yīng)用，在各大媒體平臺頻頻刷屏。GPT-2，與GPT-3師出同門，都是OpenAI研發(fā)的自然語言處理模型，兩個模型最大的不同是它的參數(shù)量，GPT-2僅為15億。
但這并不影響它的應(yīng)用范圍。與GPT-3類似，GPT-2也可以用來寫故事、畫圖表，或者玩國際象棋。
最近Rayfield受到GPT-2在國際象棋和民間音樂上應(yīng)用的啟發(fā)，也想來搞點不一樣的事情。
他突發(fā)奇想決定用GPT-2來生成全新的寵物精靈形象，結(jié)果效果還不錯。Rayfield從3000個生成圖像中挑選出了6個，如圖：
emm...看起來，小精靈原型還不錯，但就是清晰度太差。Rayfield又邀請了業(yè)內(nèi)知名動漫設(shè)計師雷切爾?布里格斯（Rachel Briggs）來幫他完成這些精靈的“重繪”工作。
最終，基于GPT-2生成的原型，這些寵物小精靈就變成了這樣：
感覺第二個和第六個可以直接成為《神奇寶貝》的一員了，你覺得呢？
Rayfield簡單介紹了他利用GPT-2創(chuàng)建這些精靈的實現(xiàn)過程。大致就是：搜尋了788張小精靈圖片（均為64x64像素）作為數(shù)據(jù)源，然后：
將圖像轉(zhuǎn)換為基于文本的格式。
用輸入文本訓(xùn)練GPT-2模型。
使用經(jīng)過訓(xùn)練的模型生成圖像。
將基于文本的圖像格式轉(zhuǎn)換為PNG。
在這個過程中也出現(xiàn)了一些問題。比如在文本格式轉(zhuǎn)換時，出現(xiàn)了很多嘈雜的像素，因此最終調(diào)整成了如下格式。
不過，用文字訓(xùn)練GPT-2的過程還相對簡單，最棘手的環(huán)節(jié)是通過代碼將輸出結(jié)果變成規(guī)范化的圖像格式。這部分代碼Rayfield已將其在GitHub開源，感興趣的朋友可以了解一下。
https://github.com/MatthewRayfield/pokemon-gpt-2
需要說明的是，上述Rayfield用GPT-2語言模型來學(xué)習(xí)圖像表征的方法，早已被OpenAI驗證。
無監(jiān)督和自監(jiān)督的學(xué)習(xí)，或沒有人為標(biāo)記的數(shù)據(jù)的學(xué)習(xí)，在自然語言處理領(lǐng)域取得了令人矚目的成功，因為像BERT、GPT-2、RoBERTa、T5 等 Transformer 模型，在廣泛的語言任務(wù)中取得了最佳成績，但同類的模型在圖像分類任務(wù)中，不能生成較為有用的特征。
出于這一目的，OpenAI嘗試?yán)肎PT-2處理圖像分類任務(wù)，以探究用 Transformer 模型在學(xué)習(xí)圖像表征方面的可行性。
他們發(fā)現(xiàn)，當(dāng)用展開成像素序列——被稱為 iGPT（image GPT） 的圖像來訓(xùn)練 GPT-2 模型時，模型似乎能夠捕捉二維圖像特征，并且能夠在沒有人類提供的數(shù)據(jù)標(biāo)注下，自動生成各種邏輯連續(xù)的圖像樣本。實驗結(jié)果如圖：
人類提供上半圖（第一列），GPT-2自動補(bǔ)全下半圖，右側(cè)為原始圖像
同時，該模型的特征在多個分類任務(wù)的數(shù)據(jù)集上也取得了不錯的成績，尤其是在 ImageNet 上取得了接近于最優(yōu)的成績，如下圖。
在自然語言處理中，依賴于單詞預(yù)測的無監(jiān)督學(xué)習(xí)算法（如 GPT-2 和 BERT）之所以成功，一個可能的原因是下游語言任務(wù)的實例出現(xiàn)在訓(xùn)練用的文本中。但相比之下，像素序列并不直接地包含它們所屬的圖像的標(biāo)簽。
而即使沒有明確的監(jiān)督，圖像上的 GPT-2 仍然起作用。OpenAI研究團(tuán)隊認(rèn)為其原因是足夠大的 Transformer 模型，通過訓(xùn)練來預(yù)測下一個像素，最終它能夠?qū)W會根據(jù)清晰可識別對象來生成具有多樣性的樣本。
他們采用一種通用的無監(jiān)督學(xué)習(xí)算法—生成序列建模進(jìn)行了測試。具體來說，他們在 ImageNet 上分別訓(xùn)練包含 76M、455M 和 1.4B 參數(shù)的 iGPT-S、iGPT-M 和 iGPT-L Transformer；還在來自 ImageNet 和互聯(lián)網(wǎng)的圖像的混合數(shù)據(jù)集上訓(xùn)練 iGPT-XL ——一個 68 億參數(shù)的 Transformer。由于對長序列采用密集注意力（dense attention）的建模計算成本高，他們用 32x32、48x48 和 64x64 的低分辨率進(jìn)行了訓(xùn)練。
最終實驗結(jié)果表明，通過計算量來代替二維知識，以及通過從網(wǎng)絡(luò)中選擇的特征，序列 Transformer 可以與最優(yōu)的卷積網(wǎng)競爭，實現(xiàn)無監(jiān)督圖像分類。此外，通過將 GPT-2 語言模型直接應(yīng)用于圖像生成的結(jié)果，也進(jìn)一步表明由于其簡單性和通用性，序列 Transformer 在足夠的計算量下，有可能成為學(xué)習(xí)到不同領(lǐng)域的特征的有效方法。
更多OpenAI團(tuán)隊實驗內(nèi)容可參見論文：https://cdn.openai.com/papers/Generative_Pretraining_from_Pixels_V2.pdf
引用鏈接：
https://www.reddit.com/r/MachineLearning/comments/jyh0h4/p_generating_pokemon_sprites_with_gpt2/
https://matthewrayfield.com/articles/ai-generated-pokemon-sprites-with-gpt-2/
https://openai.com/blog/image-gpt/
雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
