雷鋒網(wǎng) AI 科技評(píng)論按，計(jì)算機(jī)視覺頂會(huì) CVPR 2019 即將于 6 月在美國長灘召開，今年有超過 5165 篇的大會(huì)論文投稿，最終錄取 1299 篇。隨著會(huì)議臨近，各大公司紛紛揭曉自家被收錄論文。

美圖公司社交產(chǎn)品事業(yè)群視覺算法組與清華大學(xué)自動(dòng)化系智能視覺實(shí)驗(yàn)室合作，推出了業(yè)界最大規(guī)模教程類行為數(shù)據(jù)集 COIN（COmprehensive INstructional video analysis），相關(guān)論文（COIN: A Large-scale Dataset for Comprehensive Instructional Video Analysis）已被 CVPR 2019 錄用。

COIN 數(shù)據(jù)集概覽

教程類行為視頻（Instructional Video）可以幫助使用者獲取完成各種行為任務(wù)的知識(shí)，但是現(xiàn)有教程類行為視頻數(shù)據(jù)集在規(guī)模性和多樣性上都存在較大的局限性，難以應(yīng)用于現(xiàn)實(shí)生活中的復(fù)雜場景。為此，美圖公司社交產(chǎn)品事業(yè)群視覺算法組與清華大學(xué)自動(dòng)化系智能視覺實(shí)驗(yàn)室合作提出了名為 COIN 的大規(guī)模教程類數(shù)據(jù)集，用于更全面的教程類行為視頻分析。

COIN 數(shù)據(jù)集在標(biāo)注結(jié)構(gòu)上采用分層的組織結(jié)構(gòu)，第一層是領(lǐng)域（Domain）、第二層是任務(wù)（Task）、第三層是步驟（Step），其中包含與日常生活相關(guān)的 11827 個(gè)視頻，涉及交通工具、電器維修和家具裝修等 12 個(gè)領(lǐng)域的 180 個(gè)任務(wù)，共 778 個(gè)步驟。

COIN 數(shù)據(jù)集的分層結(jié)構(gòu)

COIN 數(shù)據(jù)集的設(shè)計(jì)人員還開發(fā)了創(chuàng)新性的標(biāo)注工具，可以更高效更準(zhǔn)確地標(biāo)注視頻行為的步驟信息。此外，為了給數(shù)據(jù)集提供更準(zhǔn)確的基準(zhǔn)指標(biāo)，數(shù)據(jù)集開發(fā)人員還使用了 SSN、R-C3D 等評(píng)價(jià)方法對(duì) COIN 數(shù)據(jù)集進(jìn)行了測評(píng)。

COIN 數(shù)據(jù)集的步驟定位準(zhǔn)確率分析

論文地址：https://arxiv.org/abs/1903.02874

GitHub地址：https://coin-dataset.github.io

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。