ECCV 2018 德國(guó)慕尼黑召開，來份 tutorial 預(yù)熱 | ECCV 2018

本文作者： MrBear

編輯：汪思穎

2018-09-09 23:00

導(dǎo)語(yǔ)：這是一份詳細(xì)的 ECCV Tutorial介紹，研究計(jì)算機(jī)視覺的小伙伴們快馬起！

雷鋒網(wǎng) AI 科技評(píng)論消息，計(jì)算機(jī)視覺歐洲大會(huì)（European Conference on Computer Vision，ECCV）于 9 月 8 -14 日在德國(guó)慕尼黑召開，今天已進(jìn)入會(huì)議第二日。會(huì)議前兩日為 workshop 和 tutorial 預(yù)熱環(huán)節(jié)，主會(huì)將于當(dāng)?shù)貢r(shí)間 9 月 10 日召開。

今年 ECCV 共計(jì) 11 個(gè) tutorial，議題涵蓋當(dāng)前熱門的對(duì)抗性機(jī)器學(xué)習(xí)、面部追蹤、行人重識(shí)別、視頻識(shí)別等多個(gè)方向。接下來，AI 科技評(píng)論將會(huì)對(duì)這些議題進(jìn)行具體介紹，關(guān)注 ECCV 的小伙伴們，快快 mark 吧！

Tutorial 1 對(duì)抗性機(jī)器學(xué)習(xí)

包括深度神經(jīng)網(wǎng)絡(luò)在內(nèi)的機(jī)器學(xué)習(xí)和數(shù)據(jù)驅(qū)動(dòng)的人工智能技術(shù)目前已經(jīng)有諸多應(yīng)用，涵蓋了從計(jì)算機(jī)視覺到網(wǎng)絡(luò)安全等諸多領(lǐng)域。在垃圾郵件和惡意軟件檢測(cè)在內(nèi)的應(yīng)用中，學(xué)習(xí)算法必須應(yīng)對(duì)手段高超、適應(yīng)性強(qiáng)的攻擊者，因?yàn)楣粽呖梢圆倏v數(shù)據(jù)故意破壞學(xué)習(xí)過程。

由于最初設(shè)計(jì)這些算法的時(shí)候并沒有考慮到這種攻擊情況，一旦面臨精心設(shè)計(jì)、復(fù)雜的攻擊時(shí)，這些算法毫無招架之力，攻擊形式包括測(cè)試時(shí)的逃逸攻擊（evasion attack）和訓(xùn)練時(shí)的藥餌攻擊（poisoning attacks，也稱對(duì)抗性樣本）。對(duì)抗這些威脅以及在對(duì)抗性環(huán)境下學(xué)習(xí)安全的分類器和人工智能系統(tǒng)已經(jīng)成為機(jī)器學(xué)習(xí)和人工智能安全領(lǐng)域一個(gè)新興的研究主題，被稱為對(duì)抗性機(jī)器學(xué)習(xí)。

這次 tutorial 將涵蓋如下四點(diǎn)內(nèi)容：

對(duì)抗性機(jī)器學(xué)習(xí)的基礎(chǔ)知識(shí)；
用于對(duì)抗性任務(wù)的機(jī)器學(xué)習(xí)算法的設(shè)計(jì)周期；
最新提出的評(píng)估學(xué)習(xí)算法在遭受攻擊時(shí)性能的技術(shù)，能夠評(píng)估算法漏洞，并提升面對(duì)攻擊時(shí)魯棒性的防御策略；
一些對(duì)抗性機(jī)器學(xué)習(xí)算法在目標(biāo)識(shí)別、生物特征識(shí)別、垃圾郵件和惡意軟件檢測(cè)中的應(yīng)用。

PDF地址：http://www.diee.unica.it/~biggio/slides/Roli-Biggio-ECCV18-tutorial.pdf

Tutorial 2 對(duì)于人、物體和環(huán)境的超快三維感知、重建以及理解

虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)的興起讓人們希望三維場(chǎng)景捕獲、重建和理解系統(tǒng)的魯棒性更強(qiáng)。設(shè)計(jì)這樣的系統(tǒng)需要開發(fā)高質(zhì)量的傳感器和能夠利用新技術(shù)和現(xiàn)有技術(shù)的高效算法?；谶@一考慮，我們?cè)O(shè)計(jì)了具有兩個(gè)特征的深度傳感器，大大簡(jiǎn)化了融合不完整的傳感器數(shù)據(jù)的問題。

首先，我們使用一個(gè)超快的深度數(shù)據(jù)流，顯著減少了幀到幀之間的運(yùn)動(dòng)。其次，我們通過使多個(gè)傳感器能夠容易地組合（不干擾的情況下）從而消除遮擋。最終，我們開發(fā)了一系列高效的算法，用于場(chǎng)景重建、目標(biāo)跟蹤和場(chǎng)景理解，而這些算法都是為了配合這項(xiàng)技術(shù)而設(shè)計(jì)的。

在這一 tutorial 中，我們將帶領(lǐng)讀者從頭到尾構(gòu)建這樣一個(gè)程序棧，最開始將建立一個(gè)用于特別強(qiáng)調(diào)高速三維場(chǎng)景捕獲系統(tǒng)的混合現(xiàn)實(shí)應(yīng)用的傳感器。

Tutorial 3 將微軟 HoloLens 全息眼鏡用作計(jì)算機(jī)視覺研究工具

微軟 HoloLens 是世界上第一臺(tái)獨(dú)立的全息電腦，它同時(shí)也是一種強(qiáng)大的計(jì)算機(jī)視覺研究設(shè)備。應(yīng)用程序代碼可以訪問音頻、視頻流和表面網(wǎng)格，所有這些數(shù)據(jù)都存儲(chǔ)在 HoloLens 高度精確的頭部跟蹤技術(shù)維護(hù)的世界坐標(biāo)空間中。

這一 tutorial 將深入介紹 HoloLens 的新「研究模式」功能，展示如何訪問原始頭跟蹤和深度傳感器數(shù)據(jù)流，，此外，還將展示 Azure 項(xiàng)目的 Kinect 中的飛行深度感知技術(shù)的最新進(jìn)展。

Tutorial 4 面部追蹤及其應(yīng)用

這一 tutorial 的內(nèi)容與單目面部追蹤技術(shù)相關(guān)，并討論了這一技術(shù)可能的應(yīng)用場(chǎng)景。具體而言，涵蓋以下主題：

輸入方式（RGB 和 RGB-D 傳感器）；
成像模型（攝像機(jī)模型和光傳輸模型）；
統(tǒng)計(jì)面部先驗(yàn)和融合變形；
先進(jìn)的人臉模型和參數(shù)綁定；
基于優(yōu)化的面部重建；
面部重建的應(yīng)用；
視頻編輯、面部重建、視頻配音、面部投影映射；
用于面部重建的深度學(xué)習(xí)技術(shù)；
開放性的挑戰(zhàn)；
社會(huì)影響。

相關(guān)研究包括：

Zollh?fer 等人的「單眼三維人臉重建、跟蹤及其應(yīng)用的研究進(jìn)展」；
Sylianou 等人的「基于圖像的三維面部重建綜述」；
Klehm 等人最近發(fā)表的關(guān)于捕獲面部外貌特征的報(bào)告，試圖通過 CG 技術(shù)重新繪制人臉；
Bouaziz 等人的面部跟蹤與非剛性表面配準(zhǔn)問題，其目標(biāo)是將特定的表面與圖像或三維掃描結(jié)果對(duì)齊；
Orvalho 等人討論面部表情綁定的綜述和 Lewis 等人關(guān)于給予融合變形的面部動(dòng)畫的綜述。

Tutorial 5 行人重識(shí)別的表征學(xué)習(xí)

行人重識(shí)別任務(wù)的目的是在一個(gè)龐大的行人圖像數(shù)據(jù)庫(kù)中找到一個(gè)待查的人，這樣我們就可以通過攝像頭定位感興趣的人。該課題的研究和應(yīng)用具有重要的意義，近年來迅速受到了學(xué)術(shù)界和產(chǎn)業(yè)界廣泛的關(guān)注。傳統(tǒng)意義上說，行人重識(shí)別的特點(diǎn)是視覺描述符和相似性度量的有效組合。目前，前沿研究已經(jīng)進(jìn)展到深入學(xué)習(xí)到既具有判別能力又高效的不變特征嵌入。

這一 tutorial 還介紹了許多研究任務(wù)，例如基于視頻的、基于語(yǔ)言的、基于檢測(cè)信息的重識(shí)別工作，將指出當(dāng)前的研究進(jìn)展，討論用于行人重識(shí)別任務(wù)的表征學(xué)習(xí)的最先進(jìn)的方法，討論未來可能的研究方向。

數(shù)據(jù)集：http://robustsystems.coe.neu.edu/sites/robustsystems.coe.neu.edu/files/systems/projectpages/reiddataset.html

代碼：https://wangzwhu.github.io/home/re_id_resources.html

Tutorial 6 訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的歸一化方法：理論和實(shí)踐

特征、權(quán)重（kernel）和梯度歸一化方法已成為深度神經(jīng)網(wǎng)絡(luò)（DNN）的重要組成部分。然而，我們對(duì)這些方法的理論基礎(chǔ)和數(shù)學(xué)原理仍然不很清楚。此外，在實(shí)際的計(jì)算機(jī)視覺任務(wù)中使用各種大規(guī)模深度神經(jīng)網(wǎng)絡(luò)（如卷積神經(jīng)網(wǎng)絡(luò)（CNN）和小批量循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN））等理論是一個(gè)挑戰(zhàn)。

為此，這一 tutorial 將首先回顧最近的工作，為不同的輸入-輸出通道中應(yīng)用的不同歸一化方法的幾何和統(tǒng)計(jì)特性提供數(shù)學(xué)證明。本 tutorial 提出的歸一化方法的理論分析利用了數(shù)學(xué)工具，可以指導(dǎo)研究者開發(fā)新的歸一化方法，幫助更好地理解歸一化方法的理論基礎(chǔ)。此外，在重要的視覺應(yīng)用環(huán)境中，將考慮使用批量歸一化、塊正交權(quán)值、小批量卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)的梯度歸一化等各種特殊歸一化方法。

PDF地址：

https://eccv2018.org/wp-content/uploads/2018/08/v2.pdf

Tutorial 7 Functional Map：學(xué)習(xí)和計(jì)算的對(duì)應(yīng)關(guān)系的靈活表示

這一 tutorial 將介紹基于 functional map 表示的形狀之間的學(xué)習(xí)、計(jì)算和處理相似情況的技術(shù)，廣義上可以理解為領(lǐng)域或 signal geometry、接近或連接(例如圖像、點(diǎn)云、網(wǎng)格或圖形)。這一 tutorial 將提供該框架在計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)問題中的數(shù)學(xué)背景、計(jì)算方法和各種應(yīng)用。

PDF 地址：

https://drive.google.com/file/d/1lADZt9WQEJV0kCf6BJcLZqbg_7PtmNUB/view

https://drive.google.com/open?id=1DomCVGjwzE163lRW4jXz2v0RAGPOiMyn

https://drive.google.com/open?id=1bLYAkFjaTQ03uJXii0Ntvn8pISYEQL1f

Tutorial 8 視覺定位：基于特征的方法 vs 基于學(xué)習(xí)的方法

該 tutorial 主要會(huì)講如下內(nèi)容：

基于特征的定位研究現(xiàn)狀

涵蓋基礎(chǔ)知識(shí)：圖像局部特征、相機(jī)姿態(tài)估計(jì)、描述符匹配；高效（移動(dòng)）定位；可伸縮的基于特征的定位。

基于學(xué)習(xí)的定位研究現(xiàn)狀

涵蓋基礎(chǔ)知識(shí)：隨機(jī)森林，卷積神經(jīng)網(wǎng)絡(luò)；學(xué)習(xí)相機(jī)姿態(tài)回歸；場(chǎng)景坐標(biāo)回歸。

當(dāng)前的熱點(diǎn)話題和開放性問題

涵蓋基于特征和基于學(xué)習(xí)的方法的失敗案例；長(zhǎng)期定位：對(duì)更高層次場(chǎng)景的理解；基于學(xué)習(xí)方法的開放問題。

PDF：

https://drive.google.com/open?id=1s6Y8FM3K654z0ZslDdjYkJUz-uH_0523

https://drive.google.com/open?id=1Kuk_H2eYW1hc7b16jiOipUdigjmM6GV8

https://drive.google.com/open?id=1Oxv6k_gGaom9vFOyg-7b3Klo8Emu8_Hp

https://drive.google.com/open?id=1VHn0W4PqzO1xRd56O2zhgNq86W6v6hfU

Tutorial 9 在 TRECVID 對(duì)比基準(zhǔn)實(shí)驗(yàn)中的視頻識(shí)別和檢索

這一 tutorial 將重點(diǎn)回顧 TREC 視頻檢索評(píng)估（TRECVID）的歷史，討論一些 TRECVID 任務(wù)，并強(qiáng)調(diào)參與者的方法，總結(jié)教訓(xùn)。下面是具體內(nèi)容：

第 1 講：TRECVID 簡(jiǎn)介

討論 TRECVID 的歷史，包括 TRECVID 的目標(biāo)、自 2001 年以來支持的不同任務(wù)和數(shù)據(jù)集，該項(xiàng)目對(duì)研究社區(qū)的影響，可用的資源和未來的發(fā)展方向。

第 2 講：視頻轉(zhuǎn)文本（VTT）

涵蓋 TRECVID 視頻轉(zhuǎn)文本的操作，包括使用的數(shù)據(jù)，參與者采用的方法，學(xué)到的經(jīng)驗(yàn)教訓(xùn)和評(píng)價(jià)視頻標(biāo)題生成的獨(dú)特方式。

第 3 講：Ad-Hoc 視頻搜索（AVS）

相關(guān)主題有：大型概念庫(kù)的構(gòu)建，通過自然語(yǔ)言處理技術(shù)從一個(gè)ad-hoc 查詢中選擇搜索關(guān)鍵字，利用搜索關(guān)鍵字選擇概念分類器。

第4 講：活動(dòng)識(shí)別（MED/SED）

重點(diǎn)介紹在多媒體事件檢測(cè)（MED）和監(jiān)督事件檢測(cè)（SED）的語(yǔ)境下，對(duì)活動(dòng)的時(shí)空檢測(cè)的經(jīng)驗(yàn)教訓(xùn)，活動(dòng)例如「做木工」、「打開樹干」、「在沒有車的情況下贏得比賽」。

第5 講：實(shí)例搜索（INS）

將對(duì)實(shí)例搜索任務(wù)進(jìn)行概述，接著給出標(biāo)準(zhǔn)的處理流程，包括使用視覺詞袋技術(shù)生成短列表，處理幾何信息和語(yǔ)境。

Tutorial 10 通過步態(tài)和面部分析實(shí)現(xiàn)的遠(yuǎn)距離人體識(shí)別

主要會(huì)講到如下內(nèi)容：

1. 動(dòng)機(jī)、挑戰(zhàn)、可用的步態(tài)和人臉數(shù)據(jù)集

2. 基于步態(tài)和人臉的人體識(shí)別系統(tǒng)的全面綜述

傳統(tǒng)的基于步態(tài)和人臉特征的遠(yuǎn)距離人體識(shí)別方法：圖像表示；特征降維；分類
先進(jìn)的基于步態(tài)和人臉特征的遠(yuǎn)距離人體識(shí)別的深度學(xué)習(xí)方法：步態(tài)和人臉識(shí)別的網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)；輸入特性、輸入分辨率、時(shí)序信息、數(shù)據(jù)增強(qiáng)等對(duì)性能的影響因素；在共同的對(duì)比基準(zhǔn)上的最先進(jìn)的步態(tài)和面部識(shí)別結(jié)果。

Tutorial 11 實(shí)例級(jí)視覺識(shí)別

該 tutorial 涵蓋了視覺識(shí)別研究的前沿課題，介紹了圖像分類、目標(biāo)檢測(cè)、實(shí)例分割、語(yǔ)義分割、全景分割和密集人體姿態(tài)估計(jì)的方法和原理。

議程如下：