10月26日，在加州山景城舉辦的ACMMM 2017大會進(jìn)入正會第三天。在會上，Unity Technology負(fù)責(zé)AI與機(jī)器學(xué)習(xí)的副總裁Danny Longe進(jìn)行了題為《Bringing Gaming, VR, and AR to Life with Deep Learning》的演講。在演講中，Danny介紹了Unity作為全球最大的游戲引擎提供商對當(dāng)下火熱的人工智能與機(jī)器學(xué)習(xí)的看法，并對Unity運(yùn)用機(jī)器學(xué)習(xí)在游戲與相關(guān)的AR、VR技術(shù)中的實(shí)踐進(jìn)行了介紹。

盡管從兩年多前Unity就開始醞釀轉(zhuǎn)型，從一家從純引擎提供商轉(zhuǎn)向互聯(lián)網(wǎng)+云增值服務(wù)，但Danny Longe才是Unity最近在AI領(lǐng)域發(fā)力的背后推手。在加入Unity之前，Danny曾擔(dān)任Uber機(jī)器學(xué)習(xí)負(fù)責(zé)人，在更早之前，Danny還負(fù)責(zé)過亞馬遜和微軟的機(jī)器學(xué)習(xí)產(chǎn)品研發(fā)，毫無疑問，Danny在機(jī)器學(xué)習(xí)方面深厚的技術(shù)背景和專業(yè)知識對于Unity希望更好地滿足開發(fā)者在快速變化的游戲開發(fā)需求，以及推進(jìn)AR/VR領(lǐng)域的新應(yīng)用至關(guān)重要。而Danny也向我們介紹了Unity深度學(xué)習(xí)應(yīng)用的四個方向，包括：

1. 讓游戲開發(fā)者更好實(shí)現(xiàn)變現(xiàn)，包括關(guān)聯(lián)性更強(qiáng)的廣告，更好地將游戲、玩家和開發(fā)者進(jìn)行匹配等；

2. 為玩家提供深度學(xué)習(xí)藝術(shù)工具，幫助開發(fā)者更好進(jìn)行游戲創(chuàng)作；

3. 具備高度擴(kuò)展性的游戲模擬環(huán)境，如更好模擬真實(shí)世界的物理模型以及自動駕駛模擬環(huán)境等；

4. 讓游戲開發(fā)者通過運(yùn)用AI工具提升能力。

隨后Danny為我們詳細(xì)介紹了這四個方向的應(yīng)用。

Unity已經(jīng)成為世界上最大的3D游戲引擎，這也使得Unity需要不斷思考如何將玩家與游戲進(jìn)行更好地進(jìn)行匹配。然而，由于游戲玩家通常只是下載游戲進(jìn)行娛樂，而不會填寫如年齡、性別等信息，這也使得Unity需要從其他特征方式，如游戲的畫面、音效、文本等信息對玩家進(jìn)行描述和劃分。

而在廣告匹配上，Danny則笑稱使用機(jī)器學(xué)習(xí)找到真正對廣告感興趣的人與他當(dāng)時在Amazon使用機(jī)器學(xué)習(xí)剔除虛假評論是一樣的，當(dāng)時他們使用了兩個不同的網(wǎng)絡(luò)，一個生成虛假評論，一個對虛假評論進(jìn)行判別，在這樣的對抗中生成和判斷均得到了提高；

在幫助開發(fā)者更好進(jìn)行游戲創(chuàng)作方面，Danny為我們展示了若干個實(shí)例：

• 更好的游戲光影渲染效果；

• 不同畫面、紋理的合成與變異生成，將具有不同風(fēng)格的圖片拼接成一張更自然的圖片；

• 簡易場景構(gòu)建工具，可以從已有的素材中進(jìn)行學(xué)習(xí)，然后通過簡單的涂抹方式生成新的素材；

• 提高圖片的分辨率，可以將256x256分辨率的普通圖片提升到4K的分辨率；

• 使用GAN來改變畫面、視頻的式樣，等等。

機(jī)器學(xué)習(xí)在素材創(chuàng)作的應(yīng)用：輸入左上角的樹木素材（Style），得出左下角的模式圖（Guide），然后通過涂鴉（Doodle）方式，即可得到與涂鴉一致的樹木素材（Server Output）。

在環(huán)境模擬方面，Danny稱目前的機(jī)器人通常只能完成機(jī)械的工作，而遷移學(xué)習(xí)可以讓機(jī)器人獲得更好的擴(kuò)展性（如學(xué)會抓取不同形狀、位置的東西）。Unity新推出的Machine Learning Agents則可以建立起一個符合現(xiàn)實(shí)物理規(guī)則的強(qiáng)大訓(xùn)練場景，例如各種3D模型、紋理、光影效果、物體的碰撞反彈、甚至橡膠輪胎與混凝土地面的摩擦，而這樣的游戲場景可以幫助人工智能研究人員更好地模擬和訓(xùn)練用于真實(shí)世界的機(jī)器人和如自動駕駛等AI應(yīng)用。

（由Unity創(chuàng)建的一個網(wǎng)球游戲RL/ML模擬訓(xùn)練環(huán)境示例）

Danny為我們展示了用機(jī)器學(xué)習(xí)來訓(xùn)練一個簡單的“小雞過馬路”的場景。一開始小雞很容易被汽車撞到，但通過設(shè)置獎勵和懲罰（吃到的寶箱、被車撞到）和通過一段時間的學(xué)習(xí)后，這只“小雞”迅速達(dá)到了專業(yè)級的水平。同樣在游戲中，假如要訓(xùn)練一個NPC，那么游戲開發(fā)者只需要創(chuàng)建一個游戲場景，設(shè)定游戲規(guī)則（如避免被玩家殺掉）和利用與Python API相聯(lián)的“云加強(qiáng)學(xué)習(xí)”來訓(xùn)練NPC。當(dāng)這個NPC的性能已經(jīng)達(dá)到要求時候，游戲開發(fā)者就能利用另一組Unity API將TensorFlow模型直接嵌入他們的游戲中，而無需另行編碼和連接云平臺。

在Danny看來，AI在游戲領(lǐng)域推進(jìn)是這樣一個循環(huán)：首先AI可以幫助我們發(fā)現(xiàn)游戲中的問題，并進(jìn)行相應(yīng)的行動，然后得到獎勵，而通過這個獎勵又能幫助我們更好地研究新的問題。而在這當(dāng)中通過設(shè)置不同的獎勵值，包括游戲時間的長短、升級、游戲內(nèi)購買、游戲操控行為方式（觸摸、點(diǎn)擊、拖拽）甚至語音、情感、姿勢、力量等，會得到不同的改進(jìn)。

在演講結(jié)束后的提問環(huán)節(jié)，雷鋒網(wǎng)與Danny Longe也進(jìn)行了短暫交流：

雷鋒網(wǎng): 您剛才演講中提到，用Unity Machine learning agent可以構(gòu)建一個適合自動駕駛的訓(xùn)練場景，這樣做有什么好處和不足呢？

Danny：好處當(dāng)然是可以更容易營造一個自動駕駛的環(huán)境。不足之處在于，沒有人知道如何模擬一個真實(shí)的城市，像把舊金山放到自動駕駛的場景中來，這是非常難的一件事情。你需要在道路上放上其他汽車和行人，而且如果他們是按照設(shè)定的模式運(yùn)動，在這個環(huán)境中的無人駕駛車無法學(xué)到任何東西。這也是為什么像Waymo這樣的公司還是堅持在實(shí)際道路上測試的原因，但我們也在努力改進(jìn)。

雷鋒網(wǎng): 您在微軟、Amazon、Uber和Unity幾家知名公司都負(fù)責(zé)過機(jī)器學(xué)習(xí)，能介紹這幾家公司在使用機(jī)器學(xué)習(xí)上有什么相同點(diǎn)或者不同點(diǎn)嗎？

Danny: 無論在微軟、Amazon、Uber，雖然需要解決的任務(wù)各自不同，用的都是同一種算法，而在Unity，在游戲領(lǐng)域也是如此，我們希望讓開發(fā)者更好地賺錢，這和我們在Amazon希望賣給你更多的書本質(zhì)上是相同的。但另一方面，Amazon或者Uber本質(zhì)上來說，無論是賣更多東西或者讓車更快到接到你，這從本質(zhì)上來說都是使用數(shù)據(jù)，而在游戲世界，我們要做的是讓游戲從之前的環(huán)境中學(xué)習(xí)，并讓玩家與游戲的互動變得越來越接近自然。這就是我們?yōu)楹我霗C(jī)器學(xué)習(xí)的原因。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。