0
| 本文作者： 楊鯉萍 | 2020-04-06 14:06 |
雷鋒網(wǎng) AI 源創(chuàng)評(píng)論按：近日，亞?遜、??智能初創(chuàng)公司 SenseTime 與?港中??學(xué)的研究?員，共同開(kāi)發(fā)出了?個(gè)利? Web 數(shù)據(jù)的新框架——OmniSource，該框架在視頻識(shí)別領(lǐng)域創(chuàng)造了新記錄。
通過(guò)解決圖像、短視頻和?時(shí)間未剪輯視頻等數(shù)據(jù)格式之間的不兼容，并采?數(shù)據(jù)平衡等方法，OmniSource 能夠?最先進(jìn)的模型更準(zhǔn)確地對(duì)視頻進(jìn)?分類，但其使?的數(shù)據(jù)卻少了 100 倍。
研究?員指出，通常收集訓(xùn)練視頻分類算法所需的數(shù)據(jù)既昂貴?費(fèi)時(shí)，因?yàn)橐曨l通常包含?個(gè)或多個(gè)主題的多個(gè)鏡頭，因此分類時(shí)必須完整觀看它們，然后?動(dòng)將其剪切成?段，再仔細(xì)添加標(biāo)注。
OmniSource 的體系結(jié)構(gòu)圖
而 OmniSource 是以集成的?式利用各種來(lái)源（搜索引擎，社交媒體）的各種形式 Web 數(shù)據(jù)，例如：圖像、剪輯視頻和未剪輯視頻。然后，AI 系統(tǒng)過(guò)濾掉低質(zhì)量的數(shù)據(jù)樣本，并對(duì)那些通過(guò)其集合的數(shù)據(jù)樣本（平均為 70% 至 80%）進(jìn)行標(biāo)記，對(duì)每個(gè)樣本進(jìn)行轉(zhuǎn)換以使其適?于?標(biāo)任務(wù)，同時(shí)提高分類模型訓(xùn)練的魯棒性。
在給定識(shí)別任務(wù)后，OmniSource 會(huì)獲取所有分類中每個(gè)類名的關(guān)鍵字，并從上述來(lái)源中抓取 Web 數(shù)據(jù)，并?動(dòng)刪除重復(fù)數(shù)據(jù)。而對(duì)于靜態(tài)圖像，要預(yù)先準(zhǔn)備這些圖像，用于聯(lián)合訓(xùn)練期間使?，它會(huì)通過(guò)利?移動(dòng)攝像機(jī)使它們?成「?jìng)巍挂曨l。
在聯(lián)合訓(xùn)練階段，?旦將數(shù)據(jù)過(guò)濾并轉(zhuǎn)換為與?標(biāo)數(shù)據(jù)集相同的格式，OmniSource 就會(huì)權(quán)衡 Web 和?標(biāo)語(yǔ)料庫(kù)，然后采?跨數(shù)據(jù)集混合方法，將其中包含的示例對(duì)及其標(biāo)簽?于訓(xùn)練。
在聯(lián)合訓(xùn)練這個(gè)階段，據(jù)研究?員報(bào)告稱，當(dāng)用 OmniSource 從頭訓(xùn)練視頻識(shí)別模型時(shí)，盡管微調(diào)效果不佳，但交叉數(shù)據(jù)混合所取得的效果很好。
而在測(cè)試中，團(tuán)隊(duì)使?了三個(gè)?標(biāo)數(shù)據(jù)集：
Kinematics-400，其中包含 400 個(gè)分類，每個(gè)分類包含 400 個(gè) 10 分鐘的視頻；
YouTube-car，其中包含數(shù)千個(gè)視頻，展示了 196 種不同類型的汽?；
UCF101，包含 100 個(gè)剪輯片段和 101 個(gè)類別的視頻識(shí)別數(shù)據(jù)集；
Web 數(shù)據(jù)集分布。(a)-(c) 顯示了三個(gè) Web 數(shù)據(jù)集在過(guò)濾前后，各個(gè)類別數(shù)據(jù)分布中被可視化。（d）給出了 GG-K400 過(guò)濾出的圖像（青色框）和剩余圖像（藍(lán)色框）的樣本。雖然成功過(guò)濾出了很多不合適的數(shù)據(jù)，但這使得各類別的數(shù)據(jù)分布更加不均
關(guān)于網(wǎng)站資源，研究人員從 Google 圖像搜索中收集了 200 萬(wàn)張圖像，從 Instagram 收集了 150 萬(wàn)圖像和 500,000 個(gè)視頻，以及從 YouTube 收集了 17,000 多個(gè)視頻。結(jié)合?標(biāo)數(shù)據(jù)集，所有這些都被輸?到一些視頻分類模型中。
據(jù)報(bào)告顯示，在沒(méi)有進(jìn)行訓(xùn)練時(shí)，只有 350 萬(wàn)張圖像和 80 萬(wàn)分鐘的視頻可以從互聯(lián)?上爬取而得，結(jié)果不及先前工作的 2％。而在 Kinetics-400 數(shù)據(jù)集上，經(jīng)過(guò)訓(xùn)練的模型則顯示出?少 3.0％的準(zhǔn)確性提，精度?達(dá) 83.6％。同時(shí)，該框架下從零開(kāi)始訓(xùn)練的最佳模型在 Kinetics-400 數(shù)據(jù)集上，達(dá)到了 80.4％的準(zhǔn)確度。
OmniSource 論?的作者表示，與最先進(jìn)的技術(shù)相?，該框架可以通過(guò)更簡(jiǎn)單（也更輕巧）的主?設(shè)計(jì)以及更?的輸?量來(lái)實(shí)現(xiàn)可持平甚至更好的性能。OmniSource 利?了特定于任務(wù)的數(shù)據(jù)集，并且數(shù)據(jù)效率更?，與以前的?法相?，它??減少了所需的數(shù)據(jù)量。此外，框架可推?到各種視頻任務(wù)中，例如：視頻識(shí)別和細(xì)粒度分類等。
圖?來(lái)源：Reuters / Thomas Peter
未來(lái)，OmniSource 或許還可以應(yīng)?于私?和公共場(chǎng)所的安全攝像機(jī)中。或者，它可以為諸如 Facebook 之類的社交網(wǎng)站，提供視頻審核算法所需的設(shè)計(jì)信息與技術(shù)。
原文地址：
https://venturebeat.com/2020/04/02/amazon-sensetime-omnisource-framework-web-data-video-recognition/
OmniSource 論文地址：
雷鋒網(wǎng) AI 源創(chuàng)評(píng)論 雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
