0
| 本文作者： 我在思考中 | 2022-05-11 10:56 |
編輯丨陳彩嫻
人類的智能涉及多個模態(tài)：我們整合視覺、語言和聲音信號，從而形成對世界全面的認識。然而，目前大多數(shù)的預訓練方法僅針對一到兩種模態(tài)設計。
在本文中，我們提出了一種多模態(tài)自監(jiān)督預訓練框架「i-Code」，用戶可以靈活地將視覺、語音和語言的形式組合成統(tǒng)一的通用的向量表征。在該框架下，我們首先將各個模態(tài)的數(shù)據(jù)輸入給預訓練的單模態(tài)編碼器。接著，我們通過多模態(tài)融合網(wǎng)絡集成各單模態(tài)編碼器的輸出，該網(wǎng)絡使用新型注意力機制等架構(gòu)創(chuàng)新，有效地融合了不同模態(tài)的信息。
我們使用新的目標端到端地預訓練整個系統(tǒng)，新的目標包括掩碼模態(tài)單元建模和交叉模態(tài)對比學習。不同于以往只使用視頻進行預訓練的研究，i-Code 框架可以在訓練和推理過程中動態(tài)處理單模態(tài)、雙模態(tài)和三模態(tài)數(shù)據(jù)，靈活地將不同的模態(tài)組合投影到單個表示空間中。實驗結(jié)果表明，在 5 個視頻理解任務和 GLUE NLP 基準測試上，i-Code 的表現(xiàn)相較于目前最先進的技術(shù)的提升高達 11%，展示了集成多模態(tài)預訓練的威力！
真正的類人智能要考慮來自各種信號和感覺器官的信息。智能系統(tǒng)應該是綜合的，引入來自所有可用模式的信號。在許多實際的數(shù)據(jù)體系中，我們可以利用視覺（V）、語言（L）和語音/音頻（S）模態(tài)的數(shù)據(jù)。目前，研究者們在建立理解單模態(tài)、雙模太的模型方面取得了巨大的進展，然而將這些工作推廣到能夠同時解譯視覺、語言、語音的三模態(tài)系統(tǒng)上仍然是一項艱巨的任務。
三模態(tài)訓練需要大量的三模態(tài)數(shù)據(jù)（例如，帶文字描述的視頻），而此類數(shù)據(jù)的規(guī)模往往比可用的單模態(tài)或雙模態(tài)數(shù)據(jù)小好幾個數(shù)量級。例如，目前最大的帶標注的視頻數(shù)據(jù)集由 1.8 億段視頻組成，而最大的圖像描述數(shù)據(jù)集則包含高達 9 億個圖文對。
為了解決該問題，本文提出了兩種解決方案。首先，除了三模態(tài)視頻，我們還利用了大規(guī)模的雙模態(tài)數(shù)據(jù)，例如：帶有文本描述的圖像（V+L）、帶有轉(zhuǎn)寫文本的語音（S+L）和視頻描述（V+S）。這極大地擴展了模型輸入數(shù)據(jù)的規(guī)模和多樣性，同時涵蓋了全部三種目標模式。其次，我們提出了一種融合架構(gòu)，可以采用研究社區(qū)提出的最先進的單模態(tài)編碼器的上下文輸出，而非從頭開始構(gòu)建一個獨立的模型。
本文提出了「i-Code」,其中 i 代表集成多模態(tài)學習。我們開發(fā)了一個有效的融合模塊，該模塊集成了單模態(tài)編碼器的輸出，進行跨模態(tài)理解，從而獲得最終的預測結(jié)果。為了設計最佳的融合架構(gòu)，我們試驗了多種 Transformer 架構(gòu)內(nèi)的自注意機制的變體，包括交叉和合并不同模態(tài)的注意力得分的機制。
接著，我們使用各種自監(jiān)督目標利用雙模態(tài)和三模態(tài)數(shù)據(jù)對 i-Code 進行預訓練。這些目標包括：（1）掩碼單元建模。其中所有輸入信號都被轉(zhuǎn)換為離散的詞例（Token），旨在預測各模態(tài)下的被遮蔽的單元的正確詞例。（2）對比學習。給定兩種輸入模態(tài)，模型預測給定的信號是否來自訓練數(shù)據(jù)中的同一個三元組（或數(shù)據(jù)對）。
我們在多個多模態(tài)對比基準上徹底評估了 i-Code。實驗結(jié)果證明了所提出的多模態(tài)預訓練框架的有效性。對 i-Code 進行微調(diào)，相較目前最先進，我們可以在 6 個多模態(tài)數(shù)據(jù)集和 GLUE NLP 基準測試中的算法獲得 11% 的性能提升。
視頻中包含了視覺、語言、語音三種模態(tài)的數(shù)據(jù)。我們選用了最近發(fā)布的視頻數(shù)據(jù)集 YT-Temporal-180M，使用給定的視頻編號和時間戳收集了其中的 1.8 億個視頻片段，每個片段的平均長度為 7.8 秒。對于每個片段，我們平均采樣 8 幀作為視覺輸入，提取到的原始音頻波形會被下游的語音編碼器進一步處理。每個片段還帶有一個文本腳本，改腳本是對原始 ASR 轉(zhuǎn)錄仔細去噪之后得到的。
然而，視頻數(shù)據(jù)中存在幀和轉(zhuǎn)錄文本之間對齊不準的問題。為此，我們使用Azure 認知服務的 API 為每個視頻片段的高分辨率中間幀生成字幕，以增強視頻數(shù)據(jù)集。
由于高質(zhì)量的三模態(tài)視頻的規(guī)模有限，我們還使用了雙模態(tài)數(shù)據(jù)集進行預訓練，這已被廣泛應用于視覺語言表示學習等應用、零樣本跨模態(tài)生成、自動語音識別（ASR）和文本轉(zhuǎn)語音（TTS）等應用。這也是成對數(shù)據(jù)的數(shù)據(jù)集首次被用于訓練「視覺-語言-語音」模型。i-Code 在預訓練期間使用了以下雙模態(tài)數(shù)據(jù)集：
（1）視覺-語言：使用來自 Florence 計算機視覺基礎模型的預訓練數(shù)據(jù)中的7,280 萬對「圖像-描述文本」對。
（2）語言-語音：使用內(nèi)部的 75 小時的英語語音轉(zhuǎn)錄數(shù)據(jù)。該數(shù)據(jù)集包含 6,320 萬對「轉(zhuǎn)錄-語音」對，涉及 Cortana、遠場語音和呼叫中心等多樣化的場景。
（3）視覺-語音：使用了視頻敘事數(shù)據(jù)集 SMiT，該數(shù)據(jù)及包含 500,000 段語音描述文本，每段文本描述了短視頻中一系列不同的事件。
模型架構(gòu)
i-Code 由四個模塊組成。前三個模塊是分別用于視覺、語言、語音的單模態(tài)編碼器。最后一個模塊是模態(tài)融合網(wǎng)絡。首先，我們將每個模態(tài)的原始輸入輸入到對應的單模態(tài)編碼器中。然后，我們通過線性投影層處理所有編碼后的輸入，通過模態(tài)融合網(wǎng)絡集成它們。i-Code 可以處理各種輸入：單模態(tài)輸入，兩種模態(tài)的任意組合，全部三種模態(tài)一起輸入。
我們并非從頭開始訓練每個單模態(tài)編碼器，而是設計了一個模塊化的框架：可以使用任何預訓練的模型替換單模態(tài)編碼器。這為融合網(wǎng)絡提供了高質(zhì)量的上下文表征，從而進行更有效的多模態(tài)理解。我們采用了各種模態(tài)的最先進的編碼器：
（1）語言編碼器：采用 DeBERTa V3 base，該預訓練模型包含 1.83 億參數(shù)，用到了解耦注意力機制。
（2）視覺編碼器：采用 CoSwin Transformer。為了使 i-Code 可以處理圖像和視頻幀序列，我們利用預訓練的 CoSwin Transformer 實例化了一個視頻 CoSwin Transformer，該模型包含 9,100 萬參數(shù)。
（3）語音編碼器：采用預訓練的 WavLM-large 模型，該模型包含 3.15 億參數(shù)，使用了時域卷積編碼器提取輸入語音波形，并進一步使用 transformer 編碼。值得注意的是，我們還可以使用其它的單模態(tài)編碼器來組成 i-Code 架構(gòu)。
圖 1：（左）i-Code 模型架構(gòu)（右）融合網(wǎng)絡中的注意力和前饋網(wǎng)絡操作。
模態(tài)融合模塊
每個單模態(tài)編碼器提取的特征會通過單層前饋網(wǎng)絡投影，其維度等于融合網(wǎng)絡的隱藏維度。我們將投影的特征輸入給模態(tài)融合網(wǎng)絡，生成集成的多模態(tài)表征。由于單模態(tài)編碼器已經(jīng)包含了位置信息，我們在融合模塊中不使用位置嵌入。融合網(wǎng)絡的主干是一個 Transformer 編碼器，其中每一層都會執(zhí)行跨模態(tài)注意力、前饋投影和層歸一化。如圖 1 所示，為了促進更有效的跨模態(tài)理解，我們探索了傳統(tǒng)注意力機制的兩種變體：融合注意力和協(xié)同注意力。
融合注意力
此時，不同的模態(tài)共享相同的注意力參數(shù)。為了幫助融合模塊區(qū)分不同的模態(tài)，我們在所有時間和空間維度上，將每個模態(tài)獨有的識別嵌入添加到投影后的特征上（在所有的時間和空間維度上）。我們將來自不同模態(tài)的投影特征連接在一起，輸入給融合網(wǎng)絡，融合網(wǎng)絡的每一層都與經(jīng)典的 Transformer 編碼器層相同。
協(xié)同注意力
此時，每個 Transformer 層首先在每個模態(tài)內(nèi)部的特征之間執(zhí)行自注意力機制，每個模態(tài)都具有模態(tài)特定的注意力參數(shù)。假設前一個 Transformer 層的語言、視覺和語音輸出分別為
、
和
。以語言模態(tài)的單個注意力頭為例：
我們在自注意力子層后應用一個跨模態(tài)注意力：
對于具有融合注意力機制的融合網(wǎng)絡模塊，我們使用了 6 個 Transformer 編碼器層，隱層的向量維度為 768，融合模塊有 1.54 億個參數(shù)。對于協(xié)同注意融合模塊，為了保持模型的維度與融合注意力模型相近，我們使用了 3 層 Transformer，隱藏維度相同，最終的模型具有 1.63 億個參數(shù)。融合模塊中的參數(shù)在預訓練中隨機初始化，而不是從預訓練的 Checkpoint 上被實例化。
掩碼單元建模
此類自監(jiān)督預訓練目標包括：
（1）掩碼語言模型（MLM）。MLM 在針對語言和「視覺-語言」預訓練的自監(jiān)督學習方面取得了顯著的成功。在預訓練過程中，我們將 30% 的文本詞例屏蔽掉。模型需要預測被屏蔽掉的詞例，損失函數(shù)為真實值和預測詞例索引之間的交叉熵。
（2）掩碼視覺模型（MVM）。我們在視覺自監(jiān)督學習中采用了與 MLM 一致的高級策略。我們將視覺輸入轉(zhuǎn)換為離散詞例，屏蔽輸入圖像中的某些區(qū)域，并最大化被屏蔽區(qū)域的預測值和真實詞例之間的交叉熵。給定一組幀序列，我們利用目前最先進的視覺矢量量化變分自編碼器（VQ-VAE）——PeCo，將每一幀離散為詞例。我們采用 Wang 等人在論文「Bevt: Bert pretraining of video transformers」中提出的 3D tube 掩碼策略，跨時間維度屏蔽圖像區(qū)域進行掩蔽，每一幀屏蔽 50% 的區(qū)域。
（3）掩碼語音片段模型（MSM）。使用預訓練的 wav2vec 2.0 語音量化器模型將語音離散化為詞例序列。我們使用與 HuBERT 和 wav2vec 2.0 相同的掩碼策略，隨機選擇 p% 的時間步作為起始的索引，并屏蔽接下來的 L 步語音片段。此時，我們?nèi)?L=10、p=8。MSM 損失
為預測標簽和真實標簽之間的交叉熵。
跨模態(tài)對比學習
我們先將每個單模態(tài)輸入通過相應的編碼器編碼，然后將編碼結(jié)果分別送入多模態(tài)編碼器。接下來，對每組單模態(tài)嵌入進行平均池化。對于語言和語音模態(tài)，多模態(tài)編碼器輸出沿時序維度取平均。視覺輸入則同時沿時間和空間維度取平均。我們分別將視覺、語言和語音的所獲得的表征表示為
、
、
，并且將表征歸一化為單位向量，例如：
每個 batch（B）中的視覺語言對比損失
為：
其中，「視覺到語言」、「語言到視覺」的對比學習目標函數(shù)為：
類似地，我們分別定義了「視覺-語音」、「語言-語音」的對比學習目標函數(shù)和。
在對視頻進行預訓練時，我們將視頻描述和 ASR 轉(zhuǎn)錄文本連接起來作為視覺語言對比學習和 MLM 的語言輸入。預訓練目標函數(shù)是掩碼單元建模和對比學習目標的加權(quán)和：
我們在多模態(tài)情緒&情感分析、多模態(tài)推理、視頻問答以及一些單模態(tài)任務上評估了 i-Code 模型的性能。
多模態(tài)情緒&情感分析
我們在迄今為止最大的多模態(tài)情感分析和情感識別數(shù)據(jù)集 CMU-MOSEI 上測試了 i-Code，該數(shù)據(jù)集包含 23,453 段視頻，提出了兩個任務：情緒分析和情感識別。
就情緒分析任務而言，給定一段視頻，模型需要預測說話人的情緒水平，其范圍為高度消極（-3）到高度積極（3）。評價指標為 MAE、預測情緒標簽和真實情緒標簽之間的相關(guān)性（Corr）和 F1 得分。該數(shù)據(jù)集還可以被用于構(gòu)建二元分類任務評估模型，將-3到-1分作為一個類別，將1到3分組作為另一個類別。
表 1：CMU MOSEI 情緒分析結(jié)果
我們測試了 i-Code 使用不同融合注意力機制、預訓練數(shù)據(jù)時的性能。如表 1 所示，i-Code 在 CMU MOSEI 情緒分析任務上取得了目前最佳的性能。在 Dual 數(shù)據(jù)集上訓練的 i-Code 模型比在視頻數(shù)據(jù)集上訓練的 i-Code 模型展現(xiàn)出了更好的性能。在此數(shù)據(jù)集上，融合注意力的性能優(yōu)于協(xié)同注意力機制。即使不進行多模態(tài)預訓練，利用最先進的編碼器的 i-Code 已經(jīng)展現(xiàn)出與以前的模型相比具有競爭力的性能。
表 2：CMU MOSEI 情感識別結(jié)果
就情感識別而言，我們按照 Ekman 情感分析體系為視頻賦予以下標簽：快樂、悲傷、憤怒、恐懼、厭惡、驚訝。評價指標為準確率（accuracy）、精度（precision）、召回率（recal）和 Micro-F1。我們在未進行模態(tài)對齊的數(shù)據(jù)集上評估模型性能。如表 2 所示，相較于之前的最佳模型，i-Code 的準確率提高了 4.1%，F(xiàn)1 提高了 3.3%，協(xié)同注意力的性能優(yōu)于融合注意力。同時利用 Dual 數(shù)據(jù)和視頻數(shù)據(jù)進行預訓練，可以有效提升模型性能。
表 3：UN-FUNNY 二分類結(jié)果
我們在 UR-FUNNY 數(shù)據(jù)集上測試了 i-Code 在情感二分類任務上的性能。給定一段視頻幀和聲音，模型需要預測該片段是否會立即引起笑聲。對比基線包括Bi-Bimodal 融合網(wǎng)絡、低秩矩陣融合、MultiBench、張量融合網(wǎng)絡等利用了三模態(tài)輸入的模型。如表 3 所示，i-Code 模型的準確率相較于之前最優(yōu)的模型高出了 7.5%，使用視頻預訓練和融合注意力融合網(wǎng)絡時的性能最優(yōu)。
多模態(tài)推理
我們使用 VIOLIN 數(shù)據(jù)集評估 i-Code 的跨模態(tài)推理能力，該數(shù)據(jù)集的輸入是一段剪輯自電視節(jié)目的視頻片段。該片段由視頻幀 V、對齊后的描述文本 T 和音頻 S 組成。模型的任務是判斷文本假設 H 與視頻片段矛盾還是相符。我們將融合網(wǎng)絡輸出的平均值作為多模態(tài)表征，并以此訓練一個二分類器。如表 4 所示，i-Code 的準確率相較于之前最優(yōu)的對比基線提升了 3.5%。其中，D、V、NP 分別代表使用 Dual、視頻作為預訓練數(shù)據(jù)和不使用預訓練數(shù)據(jù)；M、C 分別代表使用融合注意力機制和協(xié)同注意力機制。
表 4：VIOLIN 數(shù)據(jù)集上的多模態(tài)推理結(jié)果
視頻問答
在視頻問答（VQA）任務中，給定一段包含視頻幀 v、視頻描述 t、音頻 s 的視頻，以及問題 q。問答系統(tǒng)需要從若干候選答案
中選擇出正確的答案。我們將問題、候選答案、文本描述連接起來作為文本輸入。接著，我們將文本輸入、視頻幀、語音波形一起輸入給 i-Code 模型，對各模態(tài)的輸出取平均，得到
的多模態(tài)表征
。我們通過投影層將表征轉(zhuǎn)換為 logit 得分，并將 softmax 應用于這些得分得到分類概率。
我們分別在 How2QA、KnowIT 數(shù)據(jù)集上測試了 i-Code 在視頻問答任務上的性能。How2QA 包含來自 HowTo100M 的 37,000 daunt視頻片段；KnowIT 包含 24,282 個人類標注的問答對，每個問題附有 4 個候選答案。實驗結(jié)果如表 5 和表 6 所示。
表 5：How2QA 數(shù)據(jù)集上的視頻問答性能
表 6：KnowIT 數(shù)據(jù)集上的視頻問答性能
單模態(tài)任務
我們進一步研究了 i-Code 單模態(tài)任務上的表現(xiàn)。純語言NLP任務)上的表現(xiàn)。如表 7 所示，我們將 i-Code（D+M）與之前發(fā)布的多模態(tài)模型以及參數(shù)量相當?shù)恼Z言模型進行了比較。
實驗結(jié)果表明，i-Code 大幅提升了多模態(tài)模型的性能，相較于之前最先進的模型，其平均得分提高了 11%。與之前的純語言模型相比，i-Code 也表現(xiàn)出了更強的性能，在 7 個任務以及整體性能上都超過了 DeBERTa V3 。
以往，多模態(tài)模型（尤其是視覺語言模型）中的語言編碼器的性能通常在只涉及語言的任務上相較于語言模型較弱。這種性能差距通常是由于多模態(tài)數(shù)據(jù)集中的語言數(shù)據(jù)質(zhì)量較差導致的。我們推測，掩碼語言建模目標以及語言-語音對比學習有助于 i-Code 縮小這一差距。
表 7：在語言任務（GLUE）上與之前的模型的性能對比。
如表 8 所示，以 MOSEI 情感識別任務為例，我們發(fā)現(xiàn)僅使用單一模態(tài)數(shù)據(jù)時，語音是最有效的。這也許是因為音色能夠反映出人類的情感。使用雙模態(tài)數(shù)據(jù)比使用單模態(tài)數(shù)據(jù)的性能往往更好。在使用雙模態(tài)數(shù)據(jù)時，使用「語言-語音」可以獲得最佳的模型性能。
表 8：CMU MOSEI 情感識別任務上的模態(tài)消融實驗結(jié)果
此外，在大規(guī)模多模態(tài)數(shù)據(jù)集上的自監(jiān)督預訓練顯著提升了模型性能。
雷峰網(wǎng)(公眾號：雷峰網(wǎng))
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
