研究人員開發(fā)的框架可以根據(jù)物體空間關(guān)系的文本描述生成場景圖像。

作者 | 莓酊

編輯 | 青暮

人類在描述場景時，經(jīng)常描述物體之間的空間關(guān)系。生物視覺識別涉及自上而下通路和自下而上通路的交互，而深度神經(jīng)網(wǎng)絡(luò)只模擬了第二種通路。自上而下的視覺通路涉及生物視覺感知的全局性、拓?fù)湫?、多解?/strong>等特點，尤其是理解圖像時會面臨數(shù)學(xué)上的無窮解問題。而這些特點或許就是深度神經(jīng)網(wǎng)絡(luò)下一步的改進(jìn)方向。

“視覺場景理解包括檢測和識別物體，推理被檢測物體之間的視覺關(guān)系以及使用語句描述圖像區(qū)域?！币罁?jù)《我們賴以生存的隱喻》的觀點，物體關(guān)系相比于語義關(guān)系是更加基本的，因為語義關(guān)系背后都包含著物體關(guān)系的假設(shè)。

就如下圖中，兩只貓貓在「互毆」，另一只貓貓在旁邊不嫌事大地看熱鬧。通過這個例子，人類可以非常清晰直接地觀察并捕捉到貓咪的位置、行為和關(guān)聯(lián)。但許多深度學(xué)習(xí)模型卻無法以相同的方式理解復(fù)雜實況，捕獲全部信息并進(jìn)行解析，因為它們不明白單個物體之間的「糾纏」關(guān)系。

那么問題來了，如果「捋不清」這些關(guān)系，像被設(shè)計用于廚房的機(jī)器人就很難執(zhí)行「拿起菜板左邊的柜子下面的爐灶上的鐵鍋燉大鵝」此類指令。

為了讓機(jī)器人能夠精準(zhǔn)完成這些任務(wù)，來自麻省理工學(xué)院的Shuang Li、Yilun Du和伊利諾伊大學(xué)香檳分校的Nan Liu等人合作提出一款可以理解場景中物體之間空間關(guān)系的模型。該模型具有很好的泛化能力，能夠通過組合多個物體的空間關(guān)系從而生成或者編輯復(fù)雜的圖片。論文已作為Spotlight展示被NeurIPS 2021接收。

論文鏈接：https://arxiv.org/abs/2111.09297

總的來說，研究主要有三個主要貢獻(xiàn)：

1. 提出了一個框架來分解和組合物體之間的關(guān)系，該框架能夠生成和編輯圖像根據(jù)通過組合物體之間空間關(guān)系描述，并且明顯優(yōu)于基線方法。

2. 能夠推斷出潛在物體之間的場景描述，并能夠很好的理解物體之間的語義等效。語義等效是同樣的場景但是不同的表述方式，例如蘋果在香蕉左邊和香蕉在蘋果右邊。

3. 最重要的這個方法通過組合物體關(guān)系的描述可以推廣到以前未見過的更復(fù)雜關(guān)系描述中。

這種泛化可以應(yīng)用于工業(yè)機(jī)器人執(zhí)行復(fù)雜多步驟的操縱任務(wù)，比如在倉庫中堆放物品或組裝電器。讓機(jī)器能進(jìn)一步“仿生”人類從環(huán)境中學(xué)習(xí)、互動，并且通過不斷學(xué)習(xí)分解，組合從而很快適應(yīng)新的環(huán)境和學(xué)習(xí)新的任務(wù)。

共同一作Yilun Du說道：“當(dāng)我們看到一張桌子時，不會用空間坐標(biāo)系的XYZ三軸來表達(dá)物體位置, 因為人類大腦不是這樣工作的。我們對周圍環(huán)境的洞悉是基于物體之間的關(guān)系。通過構(gòu)建能夠理解物體關(guān)系的系統(tǒng)，更有效地操縱機(jī)械從而改變周圍場景?！?/span>

單次單個關(guān)系

研究人員所提框架的亮點就在于，「它能以人類的方式“解讀”場景中物體之間的關(guān)系」。

比如輸入一段文本——木桌在藍(lán)色沙發(fā)的右側(cè)，木桌在木柜的前面。

系統(tǒng)首先將句子拆分為「木桌在藍(lán)色沙發(fā)的右側(cè)」和「木桌在木柜的前面」兩部分，再逐一描述單獨部分之間的空間關(guān)系，然后對每個關(guān)系概率分布建模，通過優(yōu)化過程將這些分離的“結(jié)構(gòu)”匯合，最終生成一個完整、準(zhǔn)確的場景圖像。

基于能量的模型（Energy-Based Model）

研究人員使用機(jī)器學(xué)習(xí)中「基于能量的模型」編碼每一對物體直接的空間關(guān)系，然后像樂高積木一樣將它們組合起來從而描述整個場景。

共同一作Shuang Li解釋道：“系統(tǒng)通過重新組合物體之間的描述，從而產(chǎn)生很好泛化能力，可以生成或者編輯以前沒有見過的場景?！?/span>

Yilun Du也表示：“其他系統(tǒng)是從整體上考慮場景中物體之間的關(guān)系，再根據(jù)文本描述中一次性生成場景圖像。一旦包含更復(fù)雜的場景描述時，這些模型就無法真正的理解并且生產(chǎn)想要的場景圖像。我們將這些單獨的、較小的模型集成起來，實現(xiàn)對更多的關(guān)系進(jìn)行建模，從而可以生產(chǎn)新穎的組合。

這個模型也可以逆向操作。給定一張圖像和不同的描述文本，它能準(zhǔn)確找到場景結(jié)構(gòu)中與物體關(guān)系相匹配的描述文本。

理解復(fù)雜場景 

每種情況下，Nan Liu等人提出的模型都優(yōu)于基線。

“我們的模型在訓(xùn)練過程中只見過一個物體關(guān)系描述，但是在測試中，當(dāng)物體關(guān)系描述增加到兩個、三個甚至四個的時候，我們的模型依然效果良好，其他機(jī)器學(xué)習(xí)方法則失敗了?！?/span>

如圖所示，圖像編輯(Image Editing) 列出了不同方法在 CLEVR 和 iGibson 數(shù)據(jù)集上的分類結(jié)果。文中方法都大大優(yōu)于基線—— StyleGAN2和StyleGAN2 (CLIP)。在 2R 和 3R 測試子集上的模型亦有優(yōu)秀表現(xiàn)，所提方法對訓(xùn)練分布之外的關(guān)系場景描述具有良好的泛化能力。 

研究人員還請實驗參與者評估生成圖像和場景描述的匹配度。在描述包含三個物體關(guān)系的最復(fù)雜示例中，91% 的人認(rèn)為該模型比其他基線的性能更好。

在模型代碼網(wǎng)頁上Interactive Demo的展示中，可以清晰看到新模型在多層物體位置中依然可以按照指令準(zhǔn)確生成我們想要的圖像。

OpenAI訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型「DALL·E」，也是可以根據(jù)文本標(biāo)題為自然語言的各種概念創(chuàng)建圖像。DALL·E 雖然可以很好的理解物體，但是不能夠準(zhǔn)確的理解物體之間的關(guān)系。

可以說Nan Liu等人提出的新模型魯棒性十分優(yōu)越，特別是在處理從未遇到的場景描述時，其他算法只能望其項背。

雖然早期實驗效果甚佳，但研究人員希望模型能夠進(jìn)一步在更復(fù)雜的真實世界場景中（比如具有嘈雜的背景和相互阻擋的物體時）執(zhí)行任務(wù)。更進(jìn)一步讓機(jī)器人能夠通過視頻推斷物體空間關(guān)系，然后應(yīng)用這些知識來和周邊環(huán)境中的物體交互?！?/span>

捷克技術(shù)大學(xué)捷克信息學(xué)、機(jī)器人和控制論研究所的杰出研究員 Josef Sivic 說：“開發(fā)出可以理解事物關(guān)系并且通過不斷組合認(rèn)識新的事物是計算機(jī)視覺領(lǐng)域至關(guān)重要的開放問題之一。他們的實驗結(jié)果著實令人驚嘆。”

作者介紹

Nan Liu, 伊利諾伊大學(xué)厄巴納香檳分校碩士。2021 年畢業(yè)于密歇根大學(xué)安娜堡分校，獲得計算機(jī)科學(xué)學(xué)士學(xué)位。目前從事研究計算機(jī)視覺和機(jī)器學(xué)習(xí)。

Shuang Li, MIT CSAIL博士，師從Antonio Torralba。主要研究使用語言作為交流和計算工具以及構(gòu)建可以持續(xù)學(xué)習(xí)并與周圍世界互動的智能體。

Yilun Du，MIT CSAIL博士生，受 Leslie Kaelbling 教授、Tomas Lozano-Perez 教授和 Josh Tenenbaum 教授指導(dǎo)。他對構(gòu)建可以像人類一樣感知理解世界的智能體和對構(gòu)建模塊化系統(tǒng)感興趣。曾在國際生物學(xué)奧林匹克競賽中獲得了金牌。

Joshua B. Tenenbaum，MIT腦認(rèn)知科學(xué)系教授、CSAIL研究員。1993 年獲得耶魯大學(xué)物理學(xué)學(xué)士學(xué)位，1999 年獲得麻省理工學(xué)院博士學(xué)位。Tenenbaum因?qū)?shù)學(xué)心理學(xué)和貝葉斯認(rèn)知科學(xué)的貢獻(xiàn)而聞名，他是最早開發(fā)并將概率和統(tǒng)計建模應(yīng)用于人類學(xué)習(xí)、推理和感知研究的人之一。2018 年，R&D 雜志將 Tenenbaum 評為“年度創(chuàng)新者”。麥克阿瑟基金會于 2019 年授予他麥克阿瑟研究員稱號。

Antonio Torralba，MIT電氣工程與計算機(jī)科學(xué)系 (EECS) 人工智能與決策系主任、CSAIL的首席研究員、MIT-IBM Watson AI Lab負(fù)責(zé)人、2021 AAAI Fellow。1994年獲得西班牙電信BCN的電信工程學(xué)位，并于2000年獲得法國格勒諾布爾國立理工學(xué)院的信號，圖像和語音處理博士學(xué)位。他是“計算機(jī)視覺國際期刊”的副主編，并在2015年擔(dān)任計算機(jī)視覺和模式識別會議的計劃主席。2008年國家科學(xué)基金會職業(yè)獎，2009年IEEE計算機(jī)視覺和模式識別會議上獲得最佳學(xué)生論文獎，2010年獲JK國際模式識別協(xié)會頒發(fā)的Aggarwal獎。2017年Frank Quick Faculty研究創(chuàng)新獎學(xué)金和Louis D. Smullin優(yōu)秀教學(xué)獎。

參考鏈接：

https://news.mit.edu/2021/ai-object-relationships-image-generation-1129

https://openai.com/blog/dall-e/

https://composevisualrelations.github.io/

https://arxiv.org/abs/2111.09297

---

雷峰網(wǎng)雷峰網(wǎng)(公眾號：雷峰網(wǎng))

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。