視覺語言導航（Vision-Language Navigation），顧名思義，就是讓智能體跟著自然語言指令進行導航，即智能體需要結合理解自然語言指令與視野中可以看到的圖像信息完成線路規(guī)劃，從而到達目標位置。

 2019年，一篇關于視覺語言導航的論文拿下CVPR2019 最佳學生論文獎，讓這一新興研究方向，迎來高光時刻。 

論文的一作王鑫，當時還是加州大學圣塔芭芭拉分校王威廉組的博士生。在拿下CVPR2019 最佳學生論文獎之后，他跟他所在的王威廉實驗組仍一直在視覺語言導航這個研究方向深耕，先后在 ICCV、CVPR、ECCV 等頂會上再度發(fā)表了多篇相關的研究，包括跨語言視覺-語言導航、視覺-語言導航的泛化能力等等，成為視覺語言導航領域的一大研究主力。

其中，泛化能力問題原本就作為深度學習研究中最難以跨越的鴻溝之一，在視覺語言導航研究中尤甚。

對于這一大難點，這一年多的時間里，王鑫及其所在研究小組又提出了什么新的方法呢？

2020年8月4日中午12:00點，AI 科技評論專門邀請到了王鑫本人，親自為大家分享他們在泛化能力問題上的最新工作進展，具體包括：

1. 將環(huán)境不可知的多任務導航學習框架；

2. 用于反事實導航的對抗數(shù)據增強方法；

3. 基于多模態(tài)文字風格轉換的室外遷移導航學習。

值得一提的是，王鑫本人在今年夏天也完成了身份的轉變，從加州大學塔芭芭拉分校分校博士畢業(yè)，正式加入加州大學圣克魯茲分校擔任計算機科學與工程系終身制助理教授。

對學業(yè)和職業(yè)規(guī)劃存在疑惑的同學，也不妨來找這位“大學長”答疑解惑、取取經哦~

分享主題：視覺語言導航的泛化學習

分享嘉賓：王鑫，加州大學圣克魯茲分校計算機科學與工程系終身制助理教授

分享時間：2020年8月4日中午12:00       

分享背景：深度學習的泛化能力一直為人詬病，在新興的視覺語言導航領域尤甚。三維環(huán)境重建和數(shù)據收集過程費時費力。我們旨在提出有效的方法解決視覺語言導航的泛化和數(shù)據稀缺問題。

分享提綱：

環(huán)境不可知的多任務導航學習框架；

用于反事實導航的對抗數(shù)據增強方法；

基于多模態(tài)文字風格轉換的遷移導航學習。

如何加入？

掃碼關注[ AI研習社頂會小助手] 微信號，發(fā)送關鍵字“ECCV 2020+直播”，即可進群觀看直播和獲取課程資料。       

雷峰網版權文章，未經授權禁止轉載。詳情見轉載須知。