近日，CVPR 2023 Video Similarity Challenge比賽圓滿結束，微信視覺團隊憑借出色的表現(xiàn)，成功獲得該比賽雙賽道冠軍。

在比賽中，微信視覺團隊以深厚的技術實力成功奪得了Descriptor Track 和 Matching Track兩個賽道的冠軍，并在Matching Track賽道提出了創(chuàng)新性的解決方案，比賽指標遠超其他參賽者。目前，相關技術論文《A Dual-level Detection Method for Video Copy Detection》、《 A Similarity Alignment Model for Video Copy Segment Matching》已發(fā)布于論文預印本網站arXiv。

Descriptor Track最終榜單和Matching Track最終榜單

微信視覺團隊挑戰(zhàn)CVPR 2023 Video Similarity Challenge，成功斬獲雙賽道冠軍

伴隨著短視頻平臺的興起，短視頻搬運、抄襲等問題也日益嚴峻，視頻原創(chuàng)保護意識和視頻拷貝檢測技術逐漸引起廣泛關注與重視。為推動視頻拷貝檢測領域的不斷進步， Meta AI在 CVPR 2023 Workshop上發(fā)起Video Similarity Challenge。作為計算機視覺領域的全球頂會，CVPR舉辦了許多比賽，每次比賽都吸引了眾多國內外企業(yè)、科研機構的頂尖團隊參與角逐，此次也不例外。其中，微信視覺團隊也報名參加了此次比賽。

據了解，視頻拷貝檢測技術是用于檢測一個視頻是否拷貝了另外一個視頻，包括完整拷貝、片段剪輯以及各種濾鏡特效花邊字幕等編輯對抗。其中，Descriptor Track 和 Matching Track是視頻拷貝檢測工作中的兩個重要的環(huán)節(jié)。基于此，本次比賽設立了Descriptor Track 和 Matching Track兩個賽道。

在比賽中，微信視覺團隊表現(xiàn)出色，以0.8717和0.9153的成績成功攬下雙賽道冠軍。其中，在Matching Track賽道上，微信視覺團隊提出了新的解決方案，得分也遠超其他參賽者。

微信視覺團隊推出新方案，已部署應用于視頻號

據介紹，此次比賽難點在于不僅需要判斷兩個視頻質檢是否存在拷貝關系，還需要定位到兩個視頻拷貝片段具體位置。這里需要高性能的視頻特征，用于在巨大視頻庫中召回拷貝視頻。此處主要的挑戰(zhàn)是源視頻和拷貝視頻通常存在大量編輯，而且拷貝時長，位置也是完全隨機的。對于拷貝片段的實際匹配關系，則一直是業(yè)界的難點，特別是對于時長較短的拷貝片段非常難做到準備的定位。因此， Video Similarity Challenge比賽將這個問題分為Descriptor Track 和 Matching Track兩個賽道。

比賽中，微信視覺團隊克服重重難點，成功登頂兩個賽道榜單的榜首，并且在Matching Track賽道上，還研發(fā)出了一套更為精準、高效的解決方案。

在Descriptor Track 賽道中，微信視覺團隊經過數據分析后明確了任務難點，并基于此提出了一個兩階段檢測方法來識別拷貝視頻，該方法分為Frame-Level Embedding、Video Editing Detection和Frame Scenes Detection三個模塊。在對3個模塊進行深度訓練學習后，最終在uAP指標上取得了0.8717的成績，相比第2名的0.8514有明顯提升。

在Matching Track 賽道上，微信視覺團隊提出的Matching Track 解決方案由Feature Extraction、Similar Segment Matching和Similar Segment Parsing三部分組成。其中，F(xiàn)eature Extraction 基于Descriptor Track 方案，負責視頻幀級別embedding提取；Similar Segment Matching 則基于query視頻和reference視頻的幀級別embedding相似度矩陣為輸入。

首先，基于MobileNet-V3等分類器，從大量召回中篩選正樣本，剔除大量簡單負樣本召回，減少Matching階段計算開銷。其次，使用HRNet-w18作為骨干網絡，預測每幀的匹配關系。最后Similar Segment Parsing階段，經過連通分量算法和RANSAC回歸算法的后處理，得到源視頻和copy視頻的copy片段匹配關系。該方案在比賽評測數據上，uAP指標達到了驚人的0.9153，遠超其他參賽者。

目前，微信視覺團隊在CVPR 2023 Video Similarity Challenge比賽中的相關技術方案已在視頻號落地使用。作為內容記錄與創(chuàng)作平臺，微信視頻號始終尊重并維護每位權利人的知識成果，通過“首發(fā)內容保護機制”、“原創(chuàng)聲明機制”、線上+線下協(xié)同合作、電子侵權投訴系統(tǒng)、關聯(lián)帳號打擊等措施，優(yōu)化用戶體驗，提升處理能效。

未來，微信視覺團隊也將不斷加強在Video Similarity（視頻相似性）方面的技術積累，將先進技術落地應用至產品場景，持之以恒地打擊短視頻拷貝、直播錄播盜播等黑灰產，竭力打造繁榮健康的原創(chuàng)內容生態(tài)。

雷峰網(公眾號：雷峰網)

雷峰網版權文章，未經授權禁止轉載。詳情見轉載須知。