0
| 本文作者： 高云河 | 編輯：郭奕欣 | 2017-07-22 09:13 | 專題：CVPR 2017 |
CVPR是IEEE一年一度的計(jì)算機(jī)視覺與模式識(shí)別技術(shù)會(huì)議，也是計(jì)算機(jī)視覺的世界三大頂會(huì)之一。2017年的CVPR會(huì)議將于7月21日到26日于夏威夷Convention中心召開，雷鋒網(wǎng)將赴前線做覆蓋與報(bào)道。
李飛飛就職于斯坦福大學(xué)計(jì)算機(jī)科學(xué)系，目前為斯坦福大學(xué)人工智能實(shí)驗(yàn)室、斯坦福視覺實(shí)驗(yàn)室、豐田汽車-斯坦福人工智能研究中心負(fù)責(zé)人，同時(shí)也是Google云端人工智能暨機(jī)器學(xué)習(xí)首席科學(xué)家。
本次CVPR上，李飛飛團(tuán)隊(duì)共有8篇論文成功入選，以下是CVPR 2017 Li Fei Fei作為作者的論文摘要，雷鋒網(wǎng)AI科技評(píng)論做了編譯和整理。
作者：Jonathan Krause, Justin Johnson, Ranjay Krishna, Li Fei-Fei
最新的為圖像生成字幕的方法可以生成以自然語言描述圖像的句子，但是將圖像的所有信息壓縮為單個(gè)句子，這樣僅能粗略地描述圖像的視覺內(nèi)容。還有一種新型字幕方法：密集字幕方法（dense captioning），可以通過在圖像中標(biāo)注許多區(qū)域來潛在地描述更精細(xì)的圖像細(xì)節(jié)，但是該方法不能為圖像產(chǎn)生連貫的故事。在本論文中，研究者通過生成描述圖像的整個(gè)段落來克服這些限制，該方法能夠描述詳細(xì)統(tǒng)一的故事。研究者開發(fā)了一個(gè)將圖像和段落分解為其組成部分的模型，檢測圖像中的語義區(qū)域，并使用層級(jí)循環(huán)神經(jīng)網(wǎng)絡(luò)對(duì)語言進(jìn)行推理。語言分析證明了段落生成任務(wù)的復(fù)雜性，對(duì)圖像和段落對(duì)的新數(shù)據(jù)集的實(shí)驗(yàn)證明了該方法的有效性。
論文地址：https://arxiv.org/abs/1611.06607
作者：Yuke Zhu, Joseph J. Lim, Li Fei-Fei
人類具有學(xué)習(xí)新技能和新知識(shí)以解決問題的非凡能力。自動(dòng)模式也需要這種學(xué)習(xí)能力來處理視覺世界中任意的、開放式的問題。研究者提出了一種基于神經(jīng)的方法來獲取視覺問答（VQA， visual question answering）的任務(wù)驅(qū)動(dòng)信息。該模型提出了從外部輔助數(shù)據(jù)積極獲取相關(guān)信息的查詢方法。來自人工策劃或自動(dòng)來源的支持證據(jù)被編碼并存儲(chǔ)到存儲(chǔ)器中。獲取任務(wù)驅(qū)動(dòng)的證據(jù)有效地提高了在Visual7W和VQA數(shù)據(jù)集上的模型性能；此外，這些查詢在該迭代QA模型中提供了一定程度的可解釋性。
論文地址：http://people.csail.mit.edu/lim/paper/zlf_cvpr2017.pdf
作者：Katsuyuki Nakamura, Serena Yeung, Alexandre Alahi, Li Fei-Fei
生理信號(hào)，如心率可以提供有關(guān)個(gè)人狀態(tài)和活動(dòng)的有價(jià)值信息。然而，現(xiàn)有的計(jì)算機(jī)視覺工作尚未探索利用這些信號(hào)來增強(qiáng)個(gè)人中心視頻（egocentric video）的理解。Egocentric video是人體可穿戴設(shè)備所拍攝出的視頻，與一般的視頻不同，這種視頻的獨(dú)有特征為播放時(shí)間長，持續(xù)性強(qiáng)（無鏡頭切換）。在這項(xiàng)工作中，研究者提出了一個(gè)基于多模態(tài)數(shù)據(jù)進(jìn)行推理的模型，聯(lián)合預(yù)測預(yù)測正在進(jìn)行的活動(dòng)以及能量支出。研究者使用心率信號(hào)作為特權(quán)自我監(jiān)督（privileged self-supervision），以得到訓(xùn)練狀態(tài)中的能量支出。一個(gè)多任務(wù)的目標(biāo)函數(shù)被用于聯(lián)合優(yōu)化這兩個(gè)任務(wù)。另外，研究者引入了一個(gè)31小時(shí)的包含心率和加速度信號(hào)的個(gè)人中心視頻數(shù)據(jù)集。該研究能夠引出一些新的應(yīng)用，例如視覺卡路里計(jì)數(shù)器。
論文地址：http://vision.stanford.edu/pdf/nakamura2017cvpr.pdf
作者：Zelun Luo, Boya Peng, De-An Huang, Alexandre Alahi, Li Fei-Fei
研究者提出一種無監(jiān)督的表示學(xué)習(xí)方法，可以緊密地編碼視頻中運(yùn)動(dòng)的依賴關(guān)系。給定一個(gè)來自視頻剪輯的圖像，我們的框架可以學(xué)習(xí)預(yù)測長期的3D動(dòng)作。為了減少學(xué)習(xí)框架的復(fù)雜性，研究者提出將運(yùn)動(dòng)描述為RGB-D模態(tài)計(jì)算的原子3D流序列。研究者使用基于循環(huán)神經(jīng)網(wǎng)絡(luò)的編碼器-解碼器框架來預(yù)測這些流程序列。為了使解碼器能夠重建這些序列，編碼器必須學(xué)習(xí)一個(gè)穩(wěn)定的視頻表示，捕獲長期運(yùn)動(dòng)依賴性和空間-時(shí)間關(guān)系。研究者展示了學(xué)習(xí)到的時(shí)間表示對(duì)跨越多個(gè)模態(tài)和數(shù)據(jù)集（如NTU RGB+D和MSR Daily Activity 3D）的動(dòng)作分類的有效性。該框架通用于任何輸入模式，例如RGB，深度，和RGB-D視頻
論文地址：https://arxiv.org/abs/1701.01821
作者：Serena Yeung, Vignesh Ramanathan, Olga Russakovsky, Liyue Shen, Greg Mori, Li Fei-Fei
如何理解既多樣化又有復(fù)雜細(xì)粒度的人類行為是計(jì)算機(jī)視覺中的一個(gè)關(guān)鍵的開放性問題。手動(dòng)標(biāo)注訓(xùn)練視頻對(duì)于一些動(dòng)作類是可行的，但是不能擴(kuò)展到完全長尾分布的動(dòng)作。解決這個(gè)問題的一個(gè)可行的方法是使用半監(jiān)督或“網(wǎng)絡(luò)監(jiān)督”的方法，利用網(wǎng)絡(luò)查詢的嘈雜數(shù)據(jù)來學(xué)習(xí)新的動(dòng)作。然而，這些方法通常不會(huì)學(xué)習(xí)特定領(lǐng)域的知識(shí)，或者依賴于迭代的手工調(diào)整數(shù)據(jù)標(biāo)簽策略。在該工作中，研究者提出了一種基于強(qiáng)化學(xué)習(xí)的公式，從嘈雜的網(wǎng)絡(luò)搜索結(jié)果中選擇訓(xùn)練分類器的正確樣本。該方法使用Q學(xué)習(xí)來學(xué)習(xí)一個(gè)小標(biāo)注訓(xùn)練數(shù)據(jù)集上的數(shù)據(jù)標(biāo)注策略，然后使用它來自動(dòng)標(biāo)注嘈雜的網(wǎng)絡(luò)數(shù)據(jù)，以獲得新的視覺概念。在具有挑戰(zhàn)性的Sports-1M action recognition benchmark以及其他細(xì)粒度的新動(dòng)作類中，該方法能夠?yàn)猷须s數(shù)據(jù)學(xué)習(xí)良好的標(biāo)注策略，并使用它來學(xué)習(xí)準(zhǔn)確的視覺概念分類器。
論文地址：https://arxiv.org/abs/1706.02884
作者：De-An Huang, Joseph J. Lim, Li Fei-Fei, Juan Carlos Niebles
研究者提出了一個(gè)在教學(xué)視頻中使用無監(jiān)督方法參考解決方案（reference resolution），其目的是將視頻上下文中提到實(shí)體與作用在它身上的動(dòng)作聯(lián)系起來。人類經(jīng)常從帶有講解的視頻中學(xué)習(xí)各種知識(shí)，比如如何拿住刀來切土豆，這些視頻中通常有語言（字幕）提示以幫助學(xué)習(xí)。為了使機(jī)器也有同樣的能力，理解視頻中的實(shí)體和動(dòng)作是必要的。該問題的關(guān)鍵挑戰(zhàn)是視頻中實(shí)體的外觀和指代名稱的變化導(dǎo)致的不可避免的視覺-語義模糊。比如將酸奶淋在蔬菜上，酸奶的外觀發(fā)生變化，同時(shí)酸奶的指代名稱也由“酸奶”變?yōu)椤罢{(diào)料”。研究者想要使用無監(jiān)督的方法解決該問題，從而進(jìn)一步擴(kuò)大了這個(gè)挑戰(zhàn)。研究者通過學(xué)習(xí)一個(gè)聯(lián)合的視覺-語言模型來解決這些挑戰(zhàn)，其中語言提示可以幫助解決視覺歧義，反之亦然。研究者通過使用來自YouTube的兩千多個(gè)非結(jié)構(gòu)化烹飪視頻來無障礙的學(xué)習(xí)該模型以驗(yàn)證該方法，結(jié)果顯示該視覺語言模型相較于目前在教學(xué)視頻中reference resolution最好的語言模型有巨大的提升。
論文地址: https://arxiv.org/pdf/1703.02521.pdf
作者：Justin Johnson, Bharath Hariharan, Laurens van der Maaten, Li Fei-Fei, C. Lawrence Zitnick,Ross Girshick
在建立可以推理和回答關(guān)于視覺數(shù)據(jù)問題的人工智能系統(tǒng)時(shí)，需要進(jìn)行診斷測試來分析研究進(jìn)展，并發(fā)現(xiàn)缺點(diǎn)。視覺問答現(xiàn)有的基準(zhǔn)在這方面有些幫助，但存在很強(qiáng)的偏差，導(dǎo)致模型可以利用偏差來正確的回答問題，而無需推理。這些基準(zhǔn)也混淆了多個(gè)錯(cuò)誤來源，導(dǎo)致很難定位模型弱點(diǎn)的來源。研究人員提供了一個(gè)測試一系列視覺推理能力的診斷數(shù)據(jù)集。它包含最小的偏差，并具有描述每個(gè)問題需要的推理類型的詳細(xì)注釋。研究這可以使用這個(gè)數(shù)據(jù)集來分析各種現(xiàn)代視覺推理系統(tǒng)，為他們的能力和限制提供新的見解。
論文地址：https://arxiv.org/pdf/1612.06890.pdf
作者：Danfei Xu, Yuke Zhu, Christopher B. Choy, Li Fei-Fei
理解一個(gè)視覺場景的任務(wù)難度遠(yuǎn)超越了單獨(dú)識(shí)別個(gè)別物體。物體之間的關(guān)系也構(gòu)成了關(guān)于場景的豐富語義信息。在這項(xiàng)工作中，研究者使用場景圖（一個(gè)視覺的圖像圖形結(jié)構(gòu)）來明確地對(duì)物體及其關(guān)系進(jìn)行建模。研究者提出一種從輸入圖像生成這種結(jié)構(gòu)化場景表示的新穎的端對(duì)端模型。該模型使用標(biāo)準(zhǔn)RNN解決場景圖的推理問題，并學(xué)習(xí)通過消息傳遞迭代地改進(jìn)其預(yù)測。該聯(lián)合推理模型可以利用上下文線索來對(duì)物體及其關(guān)系做出更好的預(yù)測。實(shí)驗(yàn)表明，該模型顯著優(yōu)于先前使用Visual Genome數(shù)據(jù)集生成場景圖的方法。
論文地址：https://arxiv.org/abs/1701.02426
雷鋒網(wǎng)整理編譯
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
專題
本專題其他文章
