2018 年 4 月 21 日，在阿里巴巴 UCAN 用戶體驗(yàn)設(shè)計(jì)論壇上，「魯班」創(chuàng)始人、阿里巴巴智能設(shè)計(jì)實(shí)驗(yàn)室負(fù)責(zé)人樂(lè)乘向現(xiàn)場(chǎng)觀眾展示「魯班」的設(shè)計(jì)能力，臺(tái)下掌聲雷動(dòng)。

這是一場(chǎng)以設(shè)計(jì)師為主要觀眾的論壇，對(duì)于設(shè)計(jì)師來(lái)說(shuō)，他們的工作往往包含許多重復(fù)性體力勞動(dòng)，比如裁切素材、調(diào)整圖片大小、修正白平衡等，而「魯班」基本上能包攬上述絕大部分內(nèi)容，這大大解放了設(shè)計(jì)師的雙手。

「魯班」是阿里巴巴自研的一款設(shè)計(jì)人工智能產(chǎn)品，目前累計(jì)設(shè)計(jì) 10 億次海報(bào)。據(jù)雷鋒網(wǎng) AI 研習(xí)社了解，2017 雙 11 期間，魯班一天制作 4000 萬(wàn)張海報(bào)，并且每張海報(bào)都是根據(jù)商品圖像特征專門設(shè)計(jì)。

據(jù)樂(lè)乘介紹，「魯班」的設(shè)計(jì)能力已經(jīng)接近高級(jí)設(shè)計(jì)師水平，他們將會(huì)開(kāi)放「魯班」的一鍵生成、智能創(chuàng)作、智能排版、設(shè)計(jì)拓展四個(gè)核心能力，目前有 100 個(gè)免費(fèi)內(nèi)測(cè)名額，大家可以點(diǎn)擊 luban.aliyun.com 申請(qǐng)。他表示，在未來(lái)，即使是設(shè)計(jì)小白，也可以通過(guò)「魯班」一鍵生成自己的海報(bào)。

「魯班」的核心算法技術(shù)由阿里巴巴達(dá)摩院機(jī)器智能技術(shù)實(shí)驗(yàn)室研發(fā)，在強(qiáng)化學(xué)習(xí)、平面設(shè)計(jì)美學(xué)量化評(píng)估、知識(shí)圖譜方面分別聯(lián)合倫敦大學(xué)學(xué)院、清華大學(xué)、浙江大學(xué)團(tuán)隊(duì)。得益于深度學(xué)習(xí)、增強(qiáng)學(xué)習(xí)、蒙特卡洛樹搜索、圖像搜索等技術(shù)以及大量設(shè)計(jì)數(shù)據(jù)，「魯班」可以通過(guò)自學(xué)獲得設(shè)計(jì)能力。

據(jù)雷鋒網(wǎng) AI 研習(xí)社了解，「魯班」包括規(guī)劃網(wǎng)絡(luò)、行動(dòng)器、評(píng)估網(wǎng)絡(luò)三大核心部分。

圖：「魯班」進(jìn)行風(fēng)格學(xué)習(xí)

規(guī)劃網(wǎng)絡(luò)的基礎(chǔ)來(lái)源于設(shè)計(jì)師的創(chuàng)意設(shè)計(jì)模板和基本元素素材，設(shè)計(jì)師將大量設(shè)計(jì)素材進(jìn)行結(jié)構(gòu)化數(shù)據(jù)標(biāo)注，最后經(jīng)由一系列人工智能網(wǎng)絡(luò)學(xué)習(xí)，輸出空間+視覺(jué)的設(shè)計(jì)框架。

圖：元素分類器對(duì)輸入的素材進(jìn)行識(shí)別及分類

行動(dòng)器根據(jù)「魯班」收到的設(shè)計(jì)需求，從學(xué)習(xí)網(wǎng)絡(luò)中抽取設(shè)計(jì)原型，并從元素中心中選取元素，規(guī)劃輸出多個(gè)最優(yōu)生成路徑，完成圖片設(shè)計(jì)。

圖：魯班行動(dòng)器規(guī)劃最優(yōu)設(shè)計(jì)生成

評(píng)估網(wǎng)絡(luò)的工作原理是輸入大量的設(shè)計(jì)圖片和評(píng)分?jǐn)?shù)據(jù)，訓(xùn)練魯班學(xué)會(huì)判斷設(shè)計(jì)的好壞。

圖：評(píng)估得分

作為阿里巴巴智能設(shè)計(jì)實(shí)驗(yàn)室負(fù)責(zé)人，樂(lè)乘主要負(fù)責(zé)「魯班」的數(shù)據(jù)、產(chǎn)品、設(shè)計(jì)和業(yè)務(wù)，達(dá)摩院機(jī)器智能技術(shù)實(shí)驗(yàn)室資深算法專家星瞳則負(fù)責(zé)算法技術(shù)及后臺(tái)視覺(jué)生成引擎系統(tǒng)，包括數(shù)據(jù)的分析處理，在線、離線流程，各類機(jī)器學(xué)習(xí)算法的研究。雷鋒網(wǎng) AI 研習(xí)社針對(duì)「魯班」背后的技術(shù)細(xì)節(jié)與他們進(jìn)行探討，整理如下。

問(wèn)：「魯班」即將達(dá)到人類高級(jí)設(shè)計(jì)師水平，它的這一設(shè)計(jì)水平是如何衡量的？具體的考慮因素有哪些？

答：魯班的設(shè)計(jì)取決于人類輸入，輸入水平?jīng)Q定了輸出水平，我們有一個(gè)專門的團(tuán)隊(duì)來(lái)訓(xùn)練「魯班」，目前它學(xué)完之后可以達(dá)到中級(jí)設(shè)計(jì)師水平，而想要達(dá)到高級(jí)水平，需要用到更大規(guī)模的數(shù)據(jù)，預(yù)計(jì)在今年下半年可以實(shí)現(xiàn)。

對(duì)于設(shè)計(jì)水平的衡量，需要從多個(gè)維度來(lái)考慮：

第一，從設(shè)計(jì)的合理性、美感上評(píng)估，這更多是設(shè)計(jì)行業(yè)評(píng)判設(shè)計(jì)師水平的通用標(biāo)準(zhǔn)。

第二，生成圖片的使用效果如何。

第三，從美學(xué)和藝術(shù)的角度，這里可能不同的人會(huì)有不同的看法，這一部分也需要設(shè)計(jì)師參與評(píng)估。

問(wèn)：「魯班」項(xiàng)目 2015 年底啟動(dòng)至今，有哪些比較重要的時(shí)間節(jié)點(diǎn)？

答：總的來(lái)說(shuō)有三個(gè)節(jié)點(diǎn)。

• 我們?cè)趦赡甓嗲?，有了研發(fā)魯班的想法，先做出了第一個(gè) Demo，這是第一個(gè)節(jié)點(diǎn)。

• 第二個(gè)節(jié)點(diǎn)是 2016 年的雙十一，我們想真正規(guī)?；貞?yīng)用這一系統(tǒng)，當(dāng)時(shí)，針對(duì)集團(tuán)的特定場(chǎng)景，開(kāi)發(fā)了一個(gè)版本，那個(gè)版本最重要的貢獻(xiàn)，就是能夠真正大規(guī)模地輔助線上系統(tǒng)。

• 但是那時(shí)候「魯班」主要是針對(duì)阿里的一些場(chǎng)景應(yīng)用，與外界目標(biāo)群體的需求存在差異，之后我們又集中精力進(jìn)行了這方面的研發(fā)，到目前，能滿足不同群體的需求。這是第三個(gè)比較重要的節(jié)點(diǎn)。

通過(guò)時(shí)間的積累、越來(lái)越多的資源投入以及大家的一起努力，魯班現(xiàn)在在某些場(chǎng)景下能輸出很不錯(cuò)的結(jié)果。

問(wèn)：「魯班」對(duì)硬件的要求如何？

答：「魯班」依賴于 GPU，目前大概需要幾百個(gè) GPU。同時(shí)，這一系統(tǒng)具有伸縮性，在雙十一活動(dòng)的高峰期，需要的 GPU 多一些，平時(shí)相對(duì)來(lái)說(shuō)少一些。

問(wèn)：「魯班」系統(tǒng)在設(shè)計(jì)過(guò)程中，需要的原始數(shù)據(jù)量有多大？

答：2016 年雙十一，我們利用「魯班」設(shè)計(jì)出 1.7 億張海報(bào)，那是比較早期的摸索。2017 年雙十一，「魯班」設(shè)計(jì)了 4 億張海報(bào)，那時(shí)候我們投入了十多人的設(shè)計(jì)師團(tuán)隊(duì)，他們會(huì)創(chuàng)作出少量的元素以及符合雙十一要求的基礎(chǔ)數(shù)據(jù)，在投入數(shù)據(jù)規(guī)模方面，當(dāng)時(shí)種子數(shù)據(jù)的量級(jí)在千級(jí)別，隨著應(yīng)用規(guī)模擴(kuò)大，種子數(shù)據(jù)也有數(shù)量級(jí)的擴(kuò)大。

問(wèn)：在標(biāo)注數(shù)據(jù)方面，需要投入大量人力成本，你們是如何解決這一問(wèn)題的？

答：總的來(lái)說(shuō)，啟動(dòng)的種子（需要極大人力投入的數(shù)據(jù)）在前期必不可少，但魯班是一個(gè)不斷進(jìn)化的閉環(huán)系統(tǒng)，它具有自我評(píng)估能力，機(jī)器產(chǎn)生的數(shù)據(jù)，一部分可以直接用，還有一部分，可以經(jīng)過(guò)人工的參與，去做進(jìn)一步清理、編輯、打標(biāo)等。隨著處理數(shù)據(jù)越來(lái)越多，算法的力量越來(lái)越強(qiáng)大，人力成本會(huì)不斷降低，之后，系統(tǒng)會(huì)越來(lái)越好，數(shù)據(jù)會(huì)像滾雪球一樣往前走。

問(wèn)：支撐「魯班」系統(tǒng)的核心技術(shù)有哪些？

答：你可以認(rèn)為「魯班」系統(tǒng)是對(duì) AI 算法的集中。

• 這一系統(tǒng)比較復(fù)雜，其中有針對(duì)設(shè)計(jì)數(shù)據(jù)的分類和分割算法；

• 在線規(guī)劃生成的時(shí)候，又有一些序列學(xué)習(xí)算法；

• 同時(shí)，還使用到一些多 Agent 強(qiáng)化學(xué)習(xí)算法；

• 此外，我們也使用了一部分 GAN 的方法；

• 還有一系列其他的方法，比如大規(guī)模檢索或特征表達(dá)。

算法層面，我們基本上覆蓋了現(xiàn)在比較新的技術(shù)。此外，我們還會(huì)用到大規(guī)模分布式數(shù)據(jù)處理技術(shù)。

問(wèn)：「魯班」背后主要的技術(shù)難點(diǎn)有哪些？

答：我們前前后后花了兩年多時(shí)間來(lái)研究「魯班」系統(tǒng)，因?yàn)橐郧安](méi)有比較好的可供參考的案例，很多技術(shù)及解決方法都要靠我們自己去探索。

雖然業(yè)界有很多利用 GAN 去做生成的案例，但這些技術(shù)并不能達(dá)到我們的目標(biāo)——可控?cái)?shù)字內(nèi)容的生成。

此外，我們既要能滿足可控，又要生成用戶想要的內(nèi)容，還得保證圖片質(zhì)量以及生成速度。

另外，還有幾個(gè)典型問(wèn)題：怎么利用多 Agent 強(qiáng)化學(xué)習(xí)，從粗到細(xì)地生成中間的結(jié)構(gòu)；怎么利用一些特殊的特征去描述各種各樣的元素；還有最基礎(chǔ)的圖像理解、對(duì)象分割問(wèn)題。

目前，「魯班」系統(tǒng)不可能像一般的深度學(xué)習(xí)算法，直接端對(duì)端就可以達(dá)成目標(biāo)，相對(duì)來(lái)說(shuō)它的邏輯比較復(fù)雜，使用單一的算法不能達(dá)到我們的目標(biāo)。

問(wèn)：前面提到多 Agent 強(qiáng)化學(xué)習(xí)，能具體解釋「魯班」中的這項(xiàng)技術(shù)嗎？

答：這是我們與 UCL 汪軍老師團(tuán)隊(duì)合作的一項(xiàng)技術(shù)。

具體來(lái)說(shuō)，系統(tǒng)會(huì)根據(jù)用戶的需求，得到一個(gè)非常粗粒度的結(jié)果，例如把一張圖或者一個(gè)目標(biāo)變成多個(gè)組成部分，可以將這些組成部分稱為元素或者量化單元，并把它當(dāng)做一個(gè) Agent，這些 Agent 單獨(dú)不能決定結(jié)果的好與壞，只有多個(gè) Agent 同時(shí)才能決定?？梢哉J(rèn)為這是一個(gè)組合優(yōu)化問(wèn)題，這里就會(huì)用到多 Agent 強(qiáng)化學(xué)習(xí)技術(shù)。

問(wèn)：未來(lái)還會(huì)基于已有的算法做出哪些改進(jìn)與創(chuàng)新？

答：未來(lái)還有很多需要鉆研的地方。

第一，基于 GAN 的一系列學(xué)習(xí)，尤其是照片級(jí)別、像素級(jí)別的生成算法，我們希望與學(xué)術(shù)界或業(yè)界不斷合作、實(shí)驗(yàn)。

第二，我們的系統(tǒng)還是過(guò)于復(fù)雜，所以想找到比較好的系統(tǒng)工程辦法，使得各方面都能更加高效。

第三，在設(shè)計(jì)知識(shí)圖譜這一領(lǐng)域，希望與外界合作，做得更加完善和靈活。

第四，我們希望能更好地量化生成效果，設(shè)計(jì)水平是很難衡量的，我們希望在這里做出一些探索和改進(jìn)。

我們目前的愿景是「所想即所見(jiàn)」，即用戶想要什么圖像，「魯班」就生成什么樣的圖像。同時(shí)，我們也希望打造出能面向各種各樣場(chǎng)景、實(shí)時(shí)在線、高效且惠普地生成高質(zhì)圖像的輔助系統(tǒng)。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。