近日，CVPR 2023 Video Similarity Challenge比賽圓滿結(jié)束，微信視覺團隊?wèi){借出色的表現(xiàn)，成功獲得該比賽雙賽道冠軍。

在比賽中，微信視覺團隊以深厚的技術(shù)實力成功奪得了Descriptor Track 和 Matching Track兩個賽道的冠軍，并在Matching Track賽道提出了創(chuàng)新性的解決方案，比賽指標(biāo)遠超其他參賽者。目前，相關(guān)技術(shù)論文《A Dual-level Detection Method for Video Copy Detection》、《 A Similarity Alignment Model for Video Copy Segment Matching》已發(fā)布于論文預(yù)印本網(wǎng)站arXiv。

Descriptor Track最終榜單和Matching Track最終榜單

微信視覺團隊挑戰(zhàn)CVPR 2023 Video Similarity Challenge，成功斬獲雙賽道冠軍

伴隨著短視頻平臺的興起，短視頻搬運、抄襲等問題也日益嚴峻，視頻原創(chuàng)保護意識和視頻拷貝檢測技術(shù)逐漸引起廣泛關(guān)注與重視。為推動視頻拷貝檢測領(lǐng)域的不斷進步， Meta AI在 CVPR 2023 Workshop上發(fā)起Video Similarity Challenge。作為計算機視覺領(lǐng)域的全球頂會，CVPR舉辦了許多比賽，每次比賽都吸引了眾多國內(nèi)外企業(yè)、科研機構(gòu)的頂尖團隊參與角逐，此次也不例外。其中，微信視覺團隊也報名參加了此次比賽。

據(jù)了解，視頻拷貝檢測技術(shù)是用于檢測一個視頻是否拷貝了另外一個視頻，包括完整拷貝、片段剪輯以及各種濾鏡特效花邊字幕等編輯對抗。其中，Descriptor Track 和 Matching Track是視頻拷貝檢測工作中的兩個重要的環(huán)節(jié)?；诖?，本次比賽設(shè)立了Descriptor Track 和 Matching Track兩個賽道。

在比賽中，微信視覺團隊表現(xiàn)出色，以0.8717和0.9153的成績成功攬下雙賽道冠軍。其中，在Matching Track賽道上，微信視覺團隊提出了新的解決方案，得分也遠超其他參賽者。

微信視覺團隊推出新方案，已部署應(yīng)用于視頻號

據(jù)介紹，此次比賽難點在于不僅需要判斷兩個視頻質(zhì)檢是否存在拷貝關(guān)系，還需要定位到兩個視頻拷貝片段具體位置。這里需要高性能的視頻特征，用于在巨大視頻庫中召回拷貝視頻。此處主要的挑戰(zhàn)是源視頻和拷貝視頻通常存在大量編輯，而且拷貝時長，位置也是完全隨機的。對于拷貝片段的實際匹配關(guān)系，則一直是業(yè)界的難點，特別是對于時長較短的拷貝片段非常難做到準(zhǔn)備的定位。因此， Video Similarity Challenge比賽將這個問題分為Descriptor Track 和 Matching Track兩個賽道。

比賽中，微信視覺團隊克服重重難點，成功登頂兩個賽道榜單的榜首，并且在Matching Track賽道上，還研發(fā)出了一套更為精準(zhǔn)、高效的解決方案。

在Descriptor Track 賽道中，微信視覺團隊經(jīng)過數(shù)據(jù)分析后明確了任務(wù)難點，并基于此提出了一個兩階段檢測方法來識別拷貝視頻，該方法分為Frame-Level Embedding、Video Editing Detection和Frame Scenes Detection三個模塊。在對3個模塊進行深度訓(xùn)練學(xué)習(xí)后，最終在uAP指標(biāo)上取得了0.8717的成績，相比第2名的0.8514有明顯提升。

在Matching Track 賽道上，微信視覺團隊提出的Matching Track 解決方案由Feature Extraction、Similar Segment Matching和Similar Segment Parsing三部分組成。其中，F(xiàn)eature Extraction 基于Descriptor Track 方案，負責(zé)視頻幀級別embedding提?。籗imilar Segment Matching 則基于query視頻和reference視頻的幀級別embedding相似度矩陣為輸入。

首先，基于MobileNet-V3等分類器，從大量召回中篩選正樣本，剔除大量簡單負樣本召回，減少Matching階段計算開銷。其次，使用HRNet-w18作為骨干網(wǎng)絡(luò)，預(yù)測每幀的匹配關(guān)系。最后Similar Segment Parsing階段，經(jīng)過連通分量算法和RANSAC回歸算法的后處理，得到源視頻和copy視頻的copy片段匹配關(guān)系。該方案在比賽評測數(shù)據(jù)上，uAP指標(biāo)達到了驚人的0.9153，遠超其他參賽者。

目前，微信視覺團隊在CVPR 2023 Video Similarity Challenge比賽中的相關(guān)技術(shù)方案已在視頻號落地使用。作為內(nèi)容記錄與創(chuàng)作平臺，微信視頻號始終尊重并維護每位權(quán)利人的知識成果，通過“首發(fā)內(nèi)容保護機制”、“原創(chuàng)聲明機制”、線上+線下協(xié)同合作、電子侵權(quán)投訴系統(tǒng)、關(guān)聯(lián)帳號打擊等措施，優(yōu)化用戶體驗，提升處理能效。

未來，微信視覺團隊也將不斷加強在Video Similarity（視頻相似性）方面的技術(shù)積累，將先進技術(shù)落地應(yīng)用至產(chǎn)品場景，持之以恒地打擊短視頻拷貝、直播錄播盜播等黑灰產(chǎn)，竭力打造繁榮健康的原創(chuàng)內(nèi)容生態(tài)。

雷峰網(wǎng)(公眾號：雷峰網(wǎng))

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。