丁香五月天婷婷久久婷婷色综合91|国产传媒自偷自拍|久久影院亚洲精品|国产欧美VA天堂国产美女自慰视屏|免费黄色av网站|婷婷丁香五月激情四射|日韩AV一区二区中文字幕在线观看|亚洲欧美日本性爱|日日噜噜噜夜夜噜噜噜|中文Av日韩一区二区

您正在使用IE低版瀏覽器,為了您的雷峰網(wǎng)賬號(hào)安全和更好的產(chǎn)品體驗(yàn),強(qiáng)烈建議使用更快更安全的瀏覽器
此為臨時(shí)鏈接,僅用于文章預(yù)覽,將在時(shí)失效
人工智能學(xué)術(shù) 正文
發(fā)私信給我在思考中
發(fā)送

0

多模態(tài)視頻理解模型新標(biāo)桿!微軟黃學(xué)東團(tuán)隊(duì)發(fā)布 i-Code

本文作者: 我在思考中 2022-05-11 10:56
導(dǎo)語(yǔ):i-Code在 5 項(xiàng)多模態(tài)視頻理解任務(wù)以及 GLUE NLP 任務(wù)上樹(shù)立了業(yè)界新標(biāo)桿!

多模態(tài)視頻理解模型新標(biāo)桿!微軟黃學(xué)東團(tuán)隊(duì)發(fā)布 i-Code

黃學(xué)東領(lǐng)銜,微軟 Azure 認(rèn)知服務(wù)研究團(tuán)隊(duì)重磅發(fā)布「視覺(jué)-語(yǔ)言-語(yǔ)音」多模態(tài)預(yù)訓(xùn)練模型 i-Code。在 5 項(xiàng)多模態(tài)視頻理解任務(wù)以及 GLUE NLP 任務(wù)上樹(shù)立了業(yè)界新標(biāo)桿!
編譯丨OGAI

編輯丨陳彩嫻

人類的智能涉及多個(gè)模態(tài):我們整合視覺(jué)、語(yǔ)言和聲音信號(hào),從而形成對(duì)世界全面的認(rèn)識(shí)。然而,目前大多數(shù)的預(yù)訓(xùn)練方法僅針對(duì)一到兩種模態(tài)設(shè)計(jì)。

在本文中,我們提出了一種多模態(tài)自監(jiān)督預(yù)訓(xùn)練框架「i-Code」,用戶可以靈活地將視覺(jué)、語(yǔ)音和語(yǔ)言的形式組合成統(tǒng)一的通用的向量表征。在該框架下,我們首先將各個(gè)模態(tài)的數(shù)據(jù)輸入給預(yù)訓(xùn)練的單模態(tài)編碼器。接著,我們通過(guò)多模態(tài)融合網(wǎng)絡(luò)集成各單模態(tài)編碼器的輸出,該網(wǎng)絡(luò)使用新型注意力機(jī)制等架構(gòu)創(chuàng)新,有效地融合了不同模態(tài)的信息。

我們使用新的目標(biāo)端到端地預(yù)訓(xùn)練整個(gè)系統(tǒng),新的目標(biāo)包括掩碼模態(tài)單元建模和交叉模態(tài)對(duì)比學(xué)習(xí)。不同于以往只使用視頻進(jìn)行預(yù)訓(xùn)練的研究,i-Code 框架可以在訓(xùn)練和推理過(guò)程中動(dòng)態(tài)處理單模態(tài)、雙模態(tài)和三模態(tài)數(shù)據(jù),靈活地將不同的模態(tài)組合投影到單個(gè)表示空間中。實(shí)驗(yàn)結(jié)果表明,在 5 個(gè)視頻理解任務(wù)和 GLUE NLP 基準(zhǔn)測(cè)試上,i-Code 的表現(xiàn)相較于目前最先進(jìn)的技術(shù)的提升高達(dá) 11%,展示了集成多模態(tài)預(yù)訓(xùn)練的威力!



1

引言

真正的類人智能要考慮來(lái)自各種信號(hào)和感覺(jué)器官的信息。智能系統(tǒng)應(yīng)該是綜合的,引入來(lái)自所有可用模式的信號(hào)。在許多實(shí)際的數(shù)據(jù)體系中,我們可以利用視覺(jué)(V)、語(yǔ)言(L)和語(yǔ)音/音頻(S)模態(tài)的數(shù)據(jù)。目前,研究者們?cè)诮⒗斫鈫文B(tài)、雙模太的模型方面取得了巨大的進(jìn)展,然而將這些工作推廣到能夠同時(shí)解譯視覺(jué)、語(yǔ)言、語(yǔ)音的三模態(tài)系統(tǒng)上仍然是一項(xiàng)艱巨的任務(wù)。

三模態(tài)訓(xùn)練需要大量的三模態(tài)數(shù)據(jù)(例如,帶文字描述的視頻),而此類數(shù)據(jù)的規(guī)模往往比可用的單模態(tài)或雙模態(tài)數(shù)據(jù)小好幾個(gè)數(shù)量級(jí)。例如,目前最大的帶標(biāo)注的視頻數(shù)據(jù)集由 1.8 億段視頻組成,而最大的圖像描述數(shù)據(jù)集則包含高達(dá) 9 億個(gè)圖文對(duì)。

為了解決該問(wèn)題,本文提出了兩種解決方案。首先,除了三模態(tài)視頻,我們還利用了大規(guī)模的雙模態(tài)數(shù)據(jù),例如:帶有文本描述的圖像(V+L)、帶有轉(zhuǎn)寫(xiě)文本的語(yǔ)音(S+L)和視頻描述(V+S)。這極大地?cái)U(kuò)展了模型輸入數(shù)據(jù)的規(guī)模和多樣性,同時(shí)涵蓋了全部三種目標(biāo)模式。其次,我們提出了一種融合架構(gòu),可以采用研究社區(qū)提出的最先進(jìn)的單模態(tài)編碼器的上下文輸出,而非從頭開(kāi)始構(gòu)建一個(gè)獨(dú)立的模型。

本文提出了「i-Code」,其中 i 代表集成多模態(tài)學(xué)習(xí)。我們開(kāi)發(fā)了一個(gè)有效的融合模塊,該模塊集成了單模態(tài)編碼器的輸出,進(jìn)行跨模態(tài)理解,從而獲得最終的預(yù)測(cè)結(jié)果。為了設(shè)計(jì)最佳的融合架構(gòu),我們?cè)囼?yàn)了多種 Transformer 架構(gòu)內(nèi)的自注意機(jī)制的變體,包括交叉和合并不同模態(tài)的注意力得分的機(jī)制。

接著,我們使用各種自監(jiān)督目標(biāo)利用雙模態(tài)和三模態(tài)數(shù)據(jù)對(duì) i-Code 進(jìn)行預(yù)訓(xùn)練。這些目標(biāo)包括:(1)掩碼單元建模。其中所有輸入信號(hào)都被轉(zhuǎn)換為離散的詞例(Token),旨在預(yù)測(cè)各模態(tài)下的被遮蔽的單元的正確詞例。(2)對(duì)比學(xué)習(xí)。給定兩種輸入模態(tài),模型預(yù)測(cè)給定的信號(hào)是否來(lái)自訓(xùn)練數(shù)據(jù)中的同一個(gè)三元組(或數(shù)據(jù)對(duì))。

我們?cè)诙鄠€(gè)多模態(tài)對(duì)比基準(zhǔn)上徹底評(píng)估了 i-Code。實(shí)驗(yàn)結(jié)果證明了所提出的多模態(tài)預(yù)訓(xùn)練框架的有效性。對(duì) i-Code 進(jìn)行微調(diào),相較目前最先進(jìn),我們可以在 6 個(gè)多模態(tài)數(shù)據(jù)集和 GLUE NLP 基準(zhǔn)測(cè)試中的算法獲得 11% 的性能提升。



2

大規(guī)模多模態(tài)預(yù)訓(xùn)練數(shù)據(jù)

視頻中包含了視覺(jué)、語(yǔ)言、語(yǔ)音三種模態(tài)的數(shù)據(jù)。我們選用了最近發(fā)布的視頻數(shù)據(jù)集 YT-Temporal-180M,使用給定的視頻編號(hào)和時(shí)間戳收集了其中的 1.8 億個(gè)視頻片段,每個(gè)片段的平均長(zhǎng)度為 7.8 秒。對(duì)于每個(gè)片段,我們平均采樣 8 幀作為視覺(jué)輸入,提取到的原始音頻波形會(huì)被下游的語(yǔ)音編碼器進(jìn)一步處理。每個(gè)片段還帶有一個(gè)文本腳本,改腳本是對(duì)原始 ASR 轉(zhuǎn)錄仔細(xì)去噪之后得到的。

然而,視頻數(shù)據(jù)中存在幀和轉(zhuǎn)錄文本之間對(duì)齊不準(zhǔn)的問(wèn)題。為此,我們使用Azure 認(rèn)知服務(wù)的 API 為每個(gè)視頻片段的高分辨率中間幀生成字幕,以增強(qiáng)視頻數(shù)據(jù)集。

由于高質(zhì)量的三模態(tài)視頻的規(guī)模有限,我們還使用了雙模態(tài)數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練,這已被廣泛應(yīng)用于視覺(jué)語(yǔ)言表示學(xué)習(xí)等應(yīng)用、零樣本跨模態(tài)生成、自動(dòng)語(yǔ)音識(shí)別(ASR)和文本轉(zhuǎn)語(yǔ)音(TTS)等應(yīng)用。這也是成對(duì)數(shù)據(jù)的數(shù)據(jù)集首次被用于訓(xùn)練「視覺(jué)-語(yǔ)言-語(yǔ)音」模型。i-Code 在預(yù)訓(xùn)練期間使用了以下雙模態(tài)數(shù)據(jù)集:

(1)視覺(jué)-語(yǔ)言:使用來(lái)自 Florence 計(jì)算機(jī)視覺(jué)基礎(chǔ)模型的預(yù)訓(xùn)練數(shù)據(jù)中的7,280 萬(wàn)對(duì)「圖像-描述文本」對(duì)。

(2)語(yǔ)言-語(yǔ)音:使用內(nèi)部的 75 小時(shí)的英語(yǔ)語(yǔ)音轉(zhuǎn)錄數(shù)據(jù)。該數(shù)據(jù)集包含 6,320 萬(wàn)對(duì)「轉(zhuǎn)錄-語(yǔ)音」對(duì),涉及 Cortana、遠(yuǎn)場(chǎng)語(yǔ)音和呼叫中心等多樣化的場(chǎng)景。

(3)視覺(jué)-語(yǔ)音:使用了視頻敘事數(shù)據(jù)集 SMiT,該數(shù)據(jù)及包含 500,000 段語(yǔ)音描述文本,每段文本描述了短視頻中一系列不同的事件。



3

i-Code 多模態(tài)預(yù)訓(xùn)練框架

模型架構(gòu)

i-Code 由四個(gè)模塊組成。前三個(gè)模塊是分別用于視覺(jué)、語(yǔ)言、語(yǔ)音的單模態(tài)編碼器。最后一個(gè)模塊是模態(tài)融合網(wǎng)絡(luò)。首先,我們將每個(gè)模態(tài)的原始輸入輸入到對(duì)應(yīng)的單模態(tài)編碼器中。然后,我們通過(guò)線性投影層處理所有編碼后的輸入,通過(guò)模態(tài)融合網(wǎng)絡(luò)集成它們。i-Code 可以處理各種輸入:?jiǎn)文B(tài)輸入,兩種模態(tài)的任意組合,全部三種模態(tài)一起輸入。

我們并非從頭開(kāi)始訓(xùn)練每個(gè)單模態(tài)編碼器,而是設(shè)計(jì)了一個(gè)模塊化的框架:可以使用任何預(yù)訓(xùn)練的模型替換單模態(tài)編碼器。這為融合網(wǎng)絡(luò)提供了高質(zhì)量的上下文表征,從而進(jìn)行更有效的多模態(tài)理解。我們采用了各種模態(tài)的最先進(jìn)的編碼器:

(1)語(yǔ)言編碼器:采用 DeBERTa V3 base,該預(yù)訓(xùn)練模型包含 1.83 億參數(shù),用到了解耦注意力機(jī)制。

(2)視覺(jué)編碼器:采用 CoSwin Transformer。為了使 i-Code 可以處理圖像和視頻幀序列,我們利用預(yù)訓(xùn)練的 CoSwin Transformer 實(shí)例化了一個(gè)視頻 CoSwin Transformer,該模型包含 9,100 萬(wàn)參數(shù)。

(3)語(yǔ)音編碼器:采用預(yù)訓(xùn)練的 WavLM-large 模型,該模型包含 3.15 億參數(shù),使用了時(shí)域卷積編碼器提取輸入語(yǔ)音波形,并進(jìn)一步使用 transformer 編碼。值得注意的是,我們還可以使用其它的單模態(tài)編碼器來(lái)組成 i-Code 架構(gòu)。

多模態(tài)視頻理解模型新標(biāo)桿!微軟黃學(xué)東團(tuán)隊(duì)發(fā)布 i-Code

圖 1:(左)i-Code 模型架構(gòu)(右)融合網(wǎng)絡(luò)中的注意力和前饋網(wǎng)絡(luò)操作。

模態(tài)融合模塊

每個(gè)單模態(tài)編碼器提取的特征會(huì)通過(guò)單層前饋網(wǎng)絡(luò)投影,其維度等于融合網(wǎng)絡(luò)的隱藏維度。我們將投影的特征輸入給模態(tài)融合網(wǎng)絡(luò),生成集成的多模態(tài)表征。由于單模態(tài)編碼器已經(jīng)包含了位置信息,我們?cè)谌诤夏K中不使用位置嵌入。融合網(wǎng)絡(luò)的主干是一個(gè) Transformer 編碼器,其中每一層都會(huì)執(zhí)行跨模態(tài)注意力、前饋投影和層歸一化。如圖 1 所示,為了促進(jìn)更有效的跨模態(tài)理解,我們探索了傳統(tǒng)注意力機(jī)制的兩種變體:融合注意力和協(xié)同注意力。

融合注意力

此時(shí),不同的模態(tài)共享相同的注意力參數(shù)。為了幫助融合模塊區(qū)分不同的模態(tài),我們?cè)谒袝r(shí)間和空間維度上,將每個(gè)模態(tài)獨(dú)有的識(shí)別嵌入添加到投影后的特征上(在所有的時(shí)間和空間維度上)。我們將來(lái)自不同模態(tài)的投影特征連接在一起,輸入給融合網(wǎng)絡(luò),融合網(wǎng)絡(luò)的每一層都與經(jīng)典的 Transformer 編碼器層相同。

協(xié)同注意力

此時(shí),每個(gè) Transformer 層首先在每個(gè)模態(tài)內(nèi)部的特征之間執(zhí)行自注意力機(jī)制,每個(gè)模態(tài)都具有模態(tài)特定的注意力參數(shù)。假設(shè)前一個(gè) Transformer 層的語(yǔ)言、視覺(jué)和語(yǔ)音輸出分別為多模態(tài)視頻理解模型新標(biāo)桿!微軟黃學(xué)東團(tuán)隊(duì)發(fā)布 i-Code、多模態(tài)視頻理解模型新標(biāo)桿!微軟黃學(xué)東團(tuán)隊(duì)發(fā)布 i-Code多模態(tài)視頻理解模型新標(biāo)桿!微軟黃學(xué)東團(tuán)隊(duì)發(fā)布 i-Code。以語(yǔ)言模態(tài)的單個(gè)注意力頭為例:

多模態(tài)視頻理解模型新標(biāo)桿!微軟黃學(xué)東團(tuán)隊(duì)發(fā)布 i-Code

我們?cè)谧宰⒁饬ψ訉雍髴?yīng)用一個(gè)跨模態(tài)注意力:

多模態(tài)視頻理解模型新標(biāo)桿!微軟黃學(xué)東團(tuán)隊(duì)發(fā)布 i-Code

對(duì)于具有融合注意力機(jī)制的融合網(wǎng)絡(luò)模塊,我們使用了 6 個(gè) Transformer 編碼器層,隱層的向量維度為 768,融合模塊有 1.54 億個(gè)參數(shù)。對(duì)于協(xié)同注意融合模塊,為了保持模型的維度與融合注意力模型相近,我們使用了 3 層 Transformer,隱藏維度相同,最終的模型具有 1.63 億個(gè)參數(shù)。融合模塊中的參數(shù)在預(yù)訓(xùn)練中隨機(jī)初始化,而不是從預(yù)訓(xùn)練的 Checkpoint 上被實(shí)例化。



4

i-Code 的預(yù)訓(xùn)練

掩碼單元建模

此類自監(jiān)督預(yù)訓(xùn)練目標(biāo)包括:

(1)掩碼語(yǔ)言模型(MLM)。MLM 在針對(duì)語(yǔ)言和「視覺(jué)-語(yǔ)言」預(yù)訓(xùn)練的自監(jiān)督學(xué)習(xí)方面取得了顯著的成功。在預(yù)訓(xùn)練過(guò)程中,我們將 30% 的文本詞例屏蔽掉。模型需要預(yù)測(cè)被屏蔽掉的詞例,損失函數(shù)為真實(shí)值和預(yù)測(cè)詞例索引之間的交叉熵。

(2)掩碼視覺(jué)模型(MVM)。我們?cè)谝曈X(jué)自監(jiān)督學(xué)習(xí)中采用了與 MLM 一致的高級(jí)策略。我們將視覺(jué)輸入轉(zhuǎn)換為離散詞例,屏蔽輸入圖像中的某些區(qū)域,并最大化被屏蔽區(qū)域的預(yù)測(cè)值和真實(shí)詞例之間的交叉熵。給定一組幀序列,我們利用目前最先進(jìn)的視覺(jué)矢量量化變分自編碼器(VQ-VAE)——PeCo,將每一幀離散為詞例。我們采用 Wang 等人在論文「Bevt: Bert pretraining of video transformers」中提出的 3D tube 掩碼策略,跨時(shí)間維度屏蔽圖像區(qū)域進(jìn)行掩蔽,每一幀屏蔽 50% 的區(qū)域。

(3)掩碼語(yǔ)音片段模型(MSM)。使用預(yù)訓(xùn)練的 wav2vec 2.0 語(yǔ)音量化器模型將語(yǔ)音離散化為詞例序列。我們使用與 HuBERT 和 wav2vec 2.0 相同的掩碼策略,隨機(jī)選擇 p% 的時(shí)間步作為起始的索引,并屏蔽接下來(lái)的 L 步語(yǔ)音片段。此時(shí),我們?nèi)?L=10、p=8。MSM 損失多模態(tài)視頻理解模型新標(biāo)桿!微軟黃學(xué)東團(tuán)隊(duì)發(fā)布 i-Code 為預(yù)測(cè)標(biāo)簽和真實(shí)標(biāo)簽之間的交叉熵。

跨模態(tài)對(duì)比學(xué)習(xí)

我們先將每個(gè)單模態(tài)輸入通過(guò)相應(yīng)的編碼器編碼,然后將編碼結(jié)果分別送入多模態(tài)編碼器。接下來(lái),對(duì)每組單模態(tài)嵌入進(jìn)行平均池化。對(duì)于語(yǔ)言和語(yǔ)音模態(tài),多模態(tài)編碼器輸出沿時(shí)序維度取平均。視覺(jué)輸入則同時(shí)沿時(shí)間和空間維度取平均。我們分別將視覺(jué)、語(yǔ)言和語(yǔ)音的所獲得的表征表示為多模態(tài)視頻理解模型新標(biāo)桿!微軟黃學(xué)東團(tuán)隊(duì)發(fā)布 i-Code、多模態(tài)視頻理解模型新標(biāo)桿!微軟黃學(xué)東團(tuán)隊(duì)發(fā)布 i-Code、多模態(tài)視頻理解模型新標(biāo)桿!微軟黃學(xué)東團(tuán)隊(duì)發(fā)布 i-Code,并且將表征歸一化為單位向量,例如:多模態(tài)視頻理解模型新標(biāo)桿!微軟黃學(xué)東團(tuán)隊(duì)發(fā)布 i-Code

每個(gè) batch(B)中的視覺(jué)語(yǔ)言對(duì)比損失多模態(tài)視頻理解模型新標(biāo)桿!微軟黃學(xué)東團(tuán)隊(duì)發(fā)布 i-Code為:

多模態(tài)視頻理解模型新標(biāo)桿!微軟黃學(xué)東團(tuán)隊(duì)發(fā)布 i-Code

其中,「視覺(jué)到語(yǔ)言」、「語(yǔ)言到視覺(jué)」的對(duì)比學(xué)習(xí)目標(biāo)函數(shù)為:

多模態(tài)視頻理解模型新標(biāo)桿!微軟黃學(xué)東團(tuán)隊(duì)發(fā)布 i-Code

類似地,我們分別定義了「視覺(jué)-語(yǔ)音」、「語(yǔ)言-語(yǔ)音」的對(duì)比學(xué)習(xí)目標(biāo)函數(shù)。

在對(duì)視頻進(jìn)行預(yù)訓(xùn)練時(shí),我們將視頻描述和 ASR 轉(zhuǎn)錄文本連接起來(lái)作為視覺(jué)語(yǔ)言對(duì)比學(xué)習(xí)和 MLM 的語(yǔ)言輸入。預(yù)訓(xùn)練目標(biāo)函數(shù)是掩碼單元建模和對(duì)比學(xué)習(xí)目標(biāo)的加權(quán)和:

多模態(tài)視頻理解模型新標(biāo)桿!微軟黃學(xué)東團(tuán)隊(duì)發(fā)布 i-Code



5

實(shí)驗(yàn)

我們?cè)诙嗄B(tài)情緒&情感分析、多模態(tài)推理、視頻問(wèn)答以及一些單模態(tài)任務(wù)上評(píng)估了 i-Code 模型的性能。

多模態(tài)情緒&情感分析

我們?cè)谄駷橹棺畲蟮亩嗄B(tài)情感分析和情感識(shí)別數(shù)據(jù)集 CMU-MOSEI 上測(cè)試了 i-Code,該數(shù)據(jù)集包含 23,453 段視頻,提出了兩個(gè)任務(wù):情緒分析和情感識(shí)別。

就情緒分析任務(wù)而言,給定一段視頻,模型需要預(yù)測(cè)說(shuō)話人的情緒水平,其范圍為高度消極(-3)到高度積極(3)。評(píng)價(jià)指標(biāo)為 MAE、預(yù)測(cè)情緒標(biāo)簽和真實(shí)情緒標(biāo)簽之間的相關(guān)性(Corr)和 F1 得分。該數(shù)據(jù)集還可以被用于構(gòu)建二元分類任務(wù)評(píng)估模型,將-3到-1分作為一個(gè)類別,將1到3分組作為另一個(gè)類別。

多模態(tài)視頻理解模型新標(biāo)桿!微軟黃學(xué)東團(tuán)隊(duì)發(fā)布 i-Code

表 1:CMU MOSEI 情緒分析結(jié)果

我們測(cè)試了 i-Code 使用不同融合注意力機(jī)制、預(yù)訓(xùn)練數(shù)據(jù)時(shí)的性能。如表 1 所示,i-Code 在 CMU MOSEI 情緒分析任務(wù)上取得了目前最佳的性能。在 Dual 數(shù)據(jù)集上訓(xùn)練的 i-Code 模型比在視頻數(shù)據(jù)集上訓(xùn)練的 i-Code 模型展現(xiàn)出了更好的性能。在此數(shù)據(jù)集上,融合注意力的性能優(yōu)于協(xié)同注意力機(jī)制。即使不進(jìn)行多模態(tài)預(yù)訓(xùn)練,利用最先進(jìn)的編碼器的 i-Code 已經(jīng)展現(xiàn)出與以前的模型相比具有競(jìng)爭(zhēng)力的性能。

多模態(tài)視頻理解模型新標(biāo)桿!微軟黃學(xué)東團(tuán)隊(duì)發(fā)布 i-Code

表 2:CMU MOSEI 情感識(shí)別結(jié)果

就情感識(shí)別而言,我們按照 Ekman 情感分析體系為視頻賦予以下標(biāo)簽:快樂(lè)、悲傷、憤怒、恐懼、厭惡、驚訝。評(píng)價(jià)指標(biāo)為準(zhǔn)確率(accuracy)、精度(precision)、召回率(recal)和 Micro-F1。我們?cè)谖催M(jìn)行模態(tài)對(duì)齊的數(shù)據(jù)集上評(píng)估模型性能。如表 2 所示,相較于之前的最佳模型,i-Code 的準(zhǔn)確率提高了 4.1%,F(xiàn)1 提高了 3.3%,協(xié)同注意力的性能優(yōu)于融合注意力。同時(shí)利用 Dual 數(shù)據(jù)和視頻數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練,可以有效提升模型性能。

多模態(tài)視頻理解模型新標(biāo)桿!微軟黃學(xué)東團(tuán)隊(duì)發(fā)布 i-Code

表 3:UN-FUNNY 二分類結(jié)果

我們?cè)?UR-FUNNY 數(shù)據(jù)集上測(cè)試了 i-Code 在情感二分類任務(wù)上的性能。給定一段視頻幀和聲音,模型需要預(yù)測(cè)該片段是否會(huì)立即引起笑聲。對(duì)比基線包括Bi-Bimodal 融合網(wǎng)絡(luò)、低秩矩陣融合、MultiBench、張量融合網(wǎng)絡(luò)等利用了三模態(tài)輸入的模型。如表 3 所示,i-Code 模型的準(zhǔn)確率相較于之前最優(yōu)的模型高出了 7.5%,使用視頻預(yù)訓(xùn)練和融合注意力融合網(wǎng)絡(luò)時(shí)的性能最優(yōu)。

多模態(tài)推理

我們使用 VIOLIN 數(shù)據(jù)集評(píng)估 i-Code 的跨模態(tài)推理能力,該數(shù)據(jù)集的輸入是一段剪輯自電視節(jié)目的視頻片段。該片段由視頻幀 V、對(duì)齊后的描述文本 T 和音頻 S 組成。模型的任務(wù)是判斷文本假設(shè) H 與視頻片段矛盾還是相符。我們將融合網(wǎng)絡(luò)輸出的平均值作為多模態(tài)表征,并以此訓(xùn)練一個(gè)二分類器。如表 4 所示,i-Code 的準(zhǔn)確率相較于之前最優(yōu)的對(duì)比基線提升了 3.5%。其中,D、V、NP 分別代表使用 Dual、視頻作為預(yù)訓(xùn)練數(shù)據(jù)和不使用預(yù)訓(xùn)練數(shù)據(jù);M、C 分別代表使用融合注意力機(jī)制和協(xié)同注意力機(jī)制。

多模態(tài)視頻理解模型新標(biāo)桿!微軟黃學(xué)東團(tuán)隊(duì)發(fā)布 i-Code

表 4:VIOLIN 數(shù)據(jù)集上的多模態(tài)推理結(jié)果

視頻問(wèn)答

在視頻問(wèn)答(VQA)任務(wù)中,給定一段包含視頻幀 v、視頻描述 t、音頻 s 的視頻,以及問(wèn)題 q。問(wèn)答系統(tǒng)需要從若干候選答案多模態(tài)視頻理解模型新標(biāo)桿!微軟黃學(xué)東團(tuán)隊(duì)發(fā)布 i-Code中選擇出正確的答案。我們將問(wèn)題、候選答案、文本描述連接起來(lái)作為文本輸入。接著,我們將文本輸入、視頻幀、語(yǔ)音波形一起輸入給 i-Code 模型,對(duì)各模態(tài)的輸出取平均,得到多模態(tài)視頻理解模型新標(biāo)桿!微軟黃學(xué)東團(tuán)隊(duì)發(fā)布 i-Code的多模態(tài)表征多模態(tài)視頻理解模型新標(biāo)桿!微軟黃學(xué)東團(tuán)隊(duì)發(fā)布 i-Code。我們通過(guò)投影層將表征轉(zhuǎn)換為 logit 得分,并將 softmax 應(yīng)用于這些得分得到分類概率。

我們分別在 How2QA、KnowIT 數(shù)據(jù)集上測(cè)試了 i-Code 在視頻問(wèn)答任務(wù)上的性能。How2QA 包含來(lái)自 HowTo100M 的 37,000 daunt視頻片段;KnowIT 包含 24,282 個(gè)人類標(biāo)注的問(wèn)答對(duì),每個(gè)問(wèn)題附有 4 個(gè)候選答案。實(shí)驗(yàn)結(jié)果如表 5 和表 6 所示。

多模態(tài)視頻理解模型新標(biāo)桿!微軟黃學(xué)東團(tuán)隊(duì)發(fā)布 i-Code

表 5:How2QA 數(shù)據(jù)集上的視頻問(wèn)答性能

多模態(tài)視頻理解模型新標(biāo)桿!微軟黃學(xué)東團(tuán)隊(duì)發(fā)布 i-Code

表 6:KnowIT 數(shù)據(jù)集上的視頻問(wèn)答性能

單模態(tài)任務(wù)

我們進(jìn)一步研究了 i-Code 單模態(tài)任務(wù)上的表現(xiàn)。純語(yǔ)言NLP任務(wù))上的表現(xiàn)。如表 7 所示,我們將 i-Code(D+M)與之前發(fā)布的多模態(tài)模型以及參數(shù)量相當(dāng)?shù)恼Z(yǔ)言模型進(jìn)行了比較。

實(shí)驗(yàn)結(jié)果表明,i-Code 大幅提升了多模態(tài)模型的性能,相較于之前最先進(jìn)的模型,其平均得分提高了 11%。與之前的純語(yǔ)言模型相比,i-Code 也表現(xiàn)出了更強(qiáng)的性能,在 7 個(gè)任務(wù)以及整體性能上都超過(guò)了 DeBERTa V3 。

以往,多模態(tài)模型(尤其是視覺(jué)語(yǔ)言模型)中的語(yǔ)言編碼器的性能通常在只涉及語(yǔ)言的任務(wù)上相較于語(yǔ)言模型較弱。這種性能差距通常是由于多模態(tài)數(shù)據(jù)集中的語(yǔ)言數(shù)據(jù)質(zhì)量較差導(dǎo)致的。我們推測(cè),掩碼語(yǔ)言建模目標(biāo)以及語(yǔ)言-語(yǔ)音對(duì)比學(xué)習(xí)有助于 i-Code 縮小這一差距。

多模態(tài)視頻理解模型新標(biāo)桿!微軟黃學(xué)東團(tuán)隊(duì)發(fā)布 i-Code

表 7:在語(yǔ)言任務(wù)(GLUE)上與之前的模型的性能對(duì)比。



6

性能分析

如表 8 所示,以 MOSEI 情感識(shí)別任務(wù)為例,我們發(fā)現(xiàn)僅使用單一模態(tài)數(shù)據(jù)時(shí),語(yǔ)音是最有效的。這也許是因?yàn)橐羯軌蚍从吵鋈祟惖那楦?。使用雙模態(tài)數(shù)據(jù)比使用單模態(tài)數(shù)據(jù)的性能往往更好。在使用雙模態(tài)數(shù)據(jù)時(shí),使用「語(yǔ)言-語(yǔ)音」可以獲得最佳的模型性能。

多模態(tài)視頻理解模型新標(biāo)桿!微軟黃學(xué)東團(tuán)隊(duì)發(fā)布 i-Code

表 8:CMU MOSEI 情感識(shí)別任務(wù)上的模態(tài)消融實(shí)驗(yàn)結(jié)果

此外,在大規(guī)模多模態(tài)數(shù)據(jù)集上的自監(jiān)督預(yù)訓(xùn)練顯著提升了模型性能。

多模態(tài)視頻理解模型新標(biāo)桿!微軟黃學(xué)東團(tuán)隊(duì)發(fā)布 i-Code

雷峰網(wǎng)(公眾號(hào):雷峰網(wǎng))

雷峰網(wǎng)版權(quán)文章,未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知

多模態(tài)視頻理解模型新標(biāo)桿!微軟黃學(xué)東團(tuán)隊(duì)發(fā)布 i-Code

分享:
相關(guān)文章

運(yùn)營(yíng)

當(dāng)月熱門(mén)文章
最新文章
請(qǐng)?zhí)顚?xiě)申請(qǐng)人資料
姓名
電話
郵箱
微信號(hào)
作品鏈接
個(gè)人簡(jiǎn)介
為了您的賬戶安全,請(qǐng)驗(yàn)證郵箱
您的郵箱還未驗(yàn)證,完成可獲20積分喲!
請(qǐng)驗(yàn)證您的郵箱
立即驗(yàn)證
完善賬號(hào)信息
您的賬號(hào)已經(jīng)綁定,現(xiàn)在您可以設(shè)置密碼以方便用郵箱登錄
立即設(shè)置 以后再說(shuō)