雷鋒網(wǎng)AI科技評(píng)論按：近日，DeepMind 發(fā)表的一篇博客中提到了一種新的人工智能體，它可以推斷數(shù)字，角色和肖像的構(gòu)造方式。更為關(guān)鍵的是，它們是自己學(xué)會(huì)做這件事，而不是靠人工標(biāo)記的數(shù)據(jù)集。

真實(shí)的世界并不僅僅是我們眼睛里所反映的圖像。例如，當(dāng)我們看建筑物并欣賞其設(shè)計(jì)的復(fù)雜性時(shí)，我們也欣賞它所需的工藝。這種思維方式可以使我們對(duì)世界有更加豐富的理解，也是人類智慧的重要體現(xiàn)之一。

DeepMind 的研究員希望它們的系統(tǒng)也能創(chuàng)造出同樣豐富的世界表現(xiàn)形式。例如，觀察繪畫(huà)的圖像時(shí)，希望系統(tǒng)能了解用于創(chuàng)建繪畫(huà)的筆觸，而不僅僅是表現(xiàn)在屏幕上的像素。

在這項(xiàng)工作中，研究員為人造智能體（agents）配備了與人類用來(lái)生成圖像相同的工具，并證明它們可以推斷數(shù)字，人物和肖像的構(gòu)造方式。更關(guān)鍵的是，它們是自學(xué)如何做到這一點(diǎn)，而不是通過(guò)人為標(biāo)簽的數(shù)據(jù)集。這與最近的一項(xiàng)研究「A Neural Representation of Sketch Drawings」提到的依賴從人類經(jīng)驗(yàn)中學(xué)習(xí)的方式恰恰相反。依賴于人類經(jīng)驗(yàn)的學(xué)習(xí)通常是很耗時(shí)的。

研究員設(shè)計(jì)了一個(gè)可以與計(jì)算機(jī)繪畫(huà)程序交互的深度強(qiáng)化學(xué)習(xí)智能體，將筆觸放在數(shù)字畫(huà)布上并更改畫(huà)筆大小，壓力和顏色，未經(jīng)訓(xùn)練的智能體畫(huà)筆很隨意，并沒(méi)有明顯的意圖或結(jié)構(gòu)。為了克服這一點(diǎn)，研究員需要?jiǎng)?chuàng)建一種獎(jiǎng)勵(lì)方式，鼓勵(lì) agents 生成有意義的圖片。

為此，研究員訓(xùn)練了第二個(gè)神經(jīng)網(wǎng)絡(luò)，稱之為鑒別器。它唯一目的是預(yù)測(cè)特定圖形是由 agents 制作的，還是從真實(shí)照片的數(shù)據(jù)集中采樣的。agents 的獎(jiǎng)勵(lì)是通過(guò)「欺騙」鑒別者認(rèn)為它的繪畫(huà)是真實(shí)的。換句話說(shuō)，agents 的獎(jiǎng)勵(lì)信號(hào)本身就是學(xué)習(xí)的。雖然這與生成對(duì)抗網(wǎng)絡(luò)（GAN）中使用的方法類似，但并不相同。因?yàn)?GAN 網(wǎng)絡(luò)設(shè)置中的生成器通常是直接輸出像素的神經(jīng)網(wǎng)絡(luò)。而這里的 agents 是通過(guò)編寫(xiě)圖形程序來(lái)與繪圖環(huán)境交互來(lái)生成圖像。

在第一組實(shí)驗(yàn)中，agents 通過(guò)訓(xùn)練生成類似于 MNIST 數(shù)字的圖像：它顯示了數(shù)字的樣子，但沒(méi)有顯示它們是如何繪制的。通過(guò)嘗試生成欺騙鑒別器的圖像，agents 學(xué)會(huì)控制畫(huà)筆并操縱它以適應(yīng)不同數(shù)字的風(fēng)格，這是一種稱為可視化程序合成的技術(shù)。

研究員也訓(xùn)練它重現(xiàn)特定圖像的能力。在這里，鑒別器的目的是確定再現(xiàn)圖像是否是目標(biāo)圖像的副本，或者是否由 agents 產(chǎn)生。鑒別器越難區(qū)分，agents 得到的獎(jiǎng)勵(lì)就越多。

最重要的是，這個(gè)框架也是可以解釋的，因?yàn)樗a(chǎn)生了一系列控制模擬畫(huà)筆的動(dòng)作。這意味著該模型可以將其在模擬繪圖程序中學(xué)到的知識(shí)應(yīng)用到其他類似環(huán)境中的字符重建中，例如用在仿造的或真實(shí)的機(jī)械臂上。

還有可能將這個(gè)框架擴(kuò)展到真實(shí)的數(shù)據(jù)集。agents 經(jīng)過(guò)訓(xùn)練可以繪制名人臉部表情，能夠捕捉到臉部的主要特征，例如形狀，色調(diào)和發(fā)型，就像街頭藝術(shù)家在使用有限數(shù)量的畫(huà)筆描繪肖像時(shí)一樣：

從原始感受中提取信息結(jié)構(gòu)化表示是人類很容易擁有并經(jīng)常使用的能力。在這項(xiàng)工作中，研究員表明可以通過(guò)讓智能體獲得和人類重現(xiàn)世界的相同工具來(lái)指導(dǎo)智能體產(chǎn)生類似的表示。在這樣做時(shí)，它們學(xué)會(huì)制作可視化程序，簡(jiǎn)潔地表達(dá)因果關(guān)系，提升了它們的觀察力。盡管該工作目前僅代表了向靈活的程序合成邁出一小步，但預(yù)計(jì)需要類似的技術(shù)才能使智能體具有類似人的認(rèn)知，包括歸納概括和溝通交流等能力。

相關(guān)論文：Synthesizing Programs for Images using Reinforced Adversarial Learning 

雷鋒網(wǎng)編譯

via DeepMind

雷鋒網(wǎng)原創(chuàng)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。