雷鋒網(wǎng) AI 科技評(píng)論按：在 CNCC2018「高通量媒體內(nèi)容理解論壇」上，快手科技多媒體內(nèi)容理解部負(fù)責(zé)人李巖發(fā)表了題為「多模態(tài)內(nèi)容生產(chǎn)與理解」的演講，講述了帶領(lǐng)多媒體內(nèi)容理解部在多模態(tài)研究上取得的一些進(jìn)展。

李巖在演講中表示，多模態(tài)技術(shù)有兩大應(yīng)用方向，一是會(huì)改變?nèi)藱C(jī)交互的方式，二是將使信息分發(fā)更加高效；視頻本身就是一個(gè)多模態(tài)的問(wèn)題，而快手則擁有海量的多模態(tài)數(shù)據(jù)，多模態(tài)的研究對(duì)于快手來(lái)說(shuō)是非常重要的課題；目前快手已經(jīng)在語(yǔ)音識(shí)別與合成、智能視頻配樂(lè)、通過(guò) 2D 圖像驅(qū)動(dòng) 3D 建模特效、視頻精準(zhǔn)理解等領(lǐng)域?qū)Χ嗄B(tài)技術(shù)進(jìn)行研發(fā)應(yīng)用。

以下為演講的主要內(nèi)容：

大家好，首先我來(lái)簡(jiǎn)單介紹一下快手，在這個(gè)平臺(tái)，用戶能夠被廣闊的世界看到，也能夠看到廣闊的世界，我們可以看一下快手的數(shù)據(jù)： 70 億條視頻總量、1500 萬(wàn)日新增視頻，日均的使用時(shí)長(zhǎng)超過(guò) 60 分鐘等，所以快手平臺(tái)上有非常多的多媒體數(shù)據(jù)，同時(shí)也有非常多的用戶交互數(shù)據(jù)，比如我們每天有 1.3 億用戶觀看超過(guò) 150 億次視頻的播放數(shù)據(jù)。

我們知道視頻是視覺(jué)、聽(tīng)覺(jué)、文本多種模態(tài)綜合的信息形式，而用戶的行為也是另外一種模態(tài)的數(shù)據(jù)，所以視頻本身就是一個(gè)多模態(tài)的問(wèn)題，再加上用戶行為就更是一種更加復(fù)雜的多模態(tài)問(wèn)題。所以多模態(tài)的研究對(duì)于快手來(lái)說(shuō)，是非常重要的課題。

多模態(tài)技術(shù)兩大應(yīng)用方向：人機(jī)交互與信息分發(fā)

我認(rèn)為多模態(tài)技術(shù)會(huì)有兩大主要的應(yīng)用。

第一，多模態(tài)技術(shù)會(huì)改變?nèi)藱C(jī)交互的方式，我們與機(jī)器交互的方式將會(huì)越來(lái)越貼近于更令人舒適、更自然的方式。

第二，多模態(tài)技術(shù)會(huì)使得信息的分發(fā)更加高效。

多模態(tài)技術(shù)研究的三個(gè)難點(diǎn)：語(yǔ)義鴻溝、異構(gòu)鴻溝、數(shù)據(jù)缺失

其實(shí)在目前來(lái)看，多模態(tài)研究難度還是非常高的。

其中大家談得比較多的是語(yǔ)義鴻溝，雖然近十年來(lái)深度學(xué)習(xí)和大算力、大數(shù)據(jù)快速發(fā)展，計(jì)算機(jī)視覺(jué)包括語(yǔ)音識(shí)別等技術(shù)都取得了非常大的進(jìn)展，但是截至現(xiàn)在，很多問(wèn)題還沒(méi)有得到特別好的解決，所以單模態(tài)的語(yǔ)義鴻溝仍然是存在的。

再者，由于引入了多種模態(tài)的信息，所以怎樣對(duì)不同模態(tài)之間的數(shù)據(jù)進(jìn)行綜合建模，會(huì)是一個(gè)異構(gòu)鴻溝的問(wèn)題。

另外，做語(yǔ)音、做圖像是有很多數(shù)據(jù)集的，大家可以利用這些數(shù)據(jù)集進(jìn)行刷分、交流自己算法的研究成果。但是多模態(tài)的數(shù)據(jù)集是非常難以構(gòu)建的，所以我們?cè)谧龆嗄B(tài)研究時(shí)是存在數(shù)據(jù)缺失的問(wèn)題的。

下面我會(huì)分享我們?cè)诙嗄B(tài)這個(gè)方面所做的事情，以及這些技術(shù)是怎么樣幫助快手平臺(tái)獲得更好的用戶體驗(yàn)和反饋的。

多模態(tài)技術(shù)如何實(shí)現(xiàn)更好的記錄

首先，多模態(tài)技術(shù)將實(shí)現(xiàn)更好的記錄。隨著智能手機(jī)的出現(xiàn)，每個(gè)人都可以用手機(jī)上攝像頭去記錄周圍的世界，用麥克風(fēng)去存儲(chǔ)周圍的音頻信息；而在以前，生成視頻，尤其生成一些比較專業(yè)的視頻，都是導(dǎo)演干的事情。但現(xiàn)在，我們通過(guò)手機(jī)就能夠做到，這里面會(huì)有非常多的多模態(tài)技術(shù)研究來(lái)輔助人們更好地記錄。

我們希望整個(gè)記錄過(guò)程是更加便捷、個(gè)性化、有趣，同時(shí)也是普惠的，具體我將分別通過(guò)四個(gè)案例分享。

1、語(yǔ)音轉(zhuǎn)文字打造便捷字幕生成體驗(yàn)

一個(gè)視頻里，音頻部分對(duì)于整個(gè)視頻的信息傳遞是非常重要的。網(wǎng)上有很多帶有大量字幕的、以講述為主的視頻，這樣的視頻制作其實(shí)是一件很麻煩的事情，因?yàn)橐粋€(gè)一個(gè)去輸入文字是很痛苦的，像過(guò)去在廣電系統(tǒng)專業(yè)工作室就需要很多用于字幕編輯的工具軟件。而如果我們通過(guò)語(yǔ)音識(shí)別技術(shù)，把語(yǔ)音直接轉(zhuǎn)成文字，就可以很輕松地通過(guò)手機(jī)編輯生成一個(gè)帶字幕視頻。

2、語(yǔ)音合成實(shí)現(xiàn)個(gè)性化配音

另外一個(gè)技術(shù)叫做個(gè)性化配音，假如在一個(gè)視頻中，你不喜歡聽(tīng)男性配音，而希望聽(tīng)到由一位女士配音，我們就可以通過(guò)語(yǔ)音合成技術(shù)滿足個(gè)性化的訴求。

語(yǔ)音識(shí)別及合成技術(shù)都會(huì)使我們記錄的過(guò)程變得更加便捷、有趣，但這兩個(gè)技術(shù)在做視覺(jué)或者多媒體的圈子里面關(guān)注度不是特別高，只是偶爾會(huì)在做語(yǔ)音的圈子里去聊這些問(wèn)題。包括在語(yǔ)音圈子里面，語(yǔ)音識(shí)別和合成現(xiàn)在往往是兩波人在做。

隨著深度學(xué)習(xí)技術(shù)的出現(xiàn)，語(yǔ)音識(shí)別和合成這兩個(gè)問(wèn)題其實(shí)在某種程度上是非常對(duì)稱的，因?yàn)檎Z(yǔ)音識(shí)別是從語(yǔ)音到文字，語(yǔ)音合成是從文字到語(yǔ)音。語(yǔ)音識(shí)別的時(shí)候，我們提取一些聲學(xué)的特征，經(jīng)過(guò)編碼器或者 Attention 的機(jī)制，實(shí)現(xiàn)從語(yǔ)音到文字的轉(zhuǎn)化；語(yǔ)音合成的技術(shù)和算法，其實(shí)也涉及編碼器或者 Attention 的機(jī)制，二者形成了比較對(duì)稱的網(wǎng)絡(luò)。所以我們把語(yǔ)音識(shí)別和合成看成是一個(gè)模態(tài)轉(zhuǎn)換的特例，從神經(jīng)網(wǎng)絡(luò)建模角度來(lái)看，是一個(gè)比較一致、容易解決的問(wèn)題。

具體神經(jīng)網(wǎng)絡(luò)在設(shè)計(jì)的時(shí)候，雖然二者內(nèi)容機(jī)制其實(shí)還是有一些不同，但更大的趨勢(shì)是這里面將來(lái)會(huì)有更多的趨同，因?yàn)槲覀冎离S著相關(guān)算法的發(fā)展，計(jì)算一定是朝著一個(gè)更加簡(jiǎn)化，更加統(tǒng)一的方向發(fā)展。就像深度學(xué)習(xí)的出現(xiàn)，其實(shí)就是通過(guò)計(jì)算的方式取代了手工來(lái)獲取有效的特征。多模態(tài)的轉(zhuǎn)換領(lǐng)域里面也出現(xiàn)了這樣的特點(diǎn)，這是一件非常有意思的事情。

3、根據(jù)視頻內(nèi)容自動(dòng)生成音樂(lè)

音樂(lè)也是短視頻非常重要的一部分，有錄視頻經(jīng)驗(yàn)的同學(xué)可以感受到，為一個(gè)場(chǎng)景配合適的音樂(lè)是一個(gè)很難的事情。過(guò)去，有不少用戶為了與音樂(lè)節(jié)拍一致，努力配合音樂(lè)節(jié)奏拍攝，極大限制了拍攝的自由度。我們希望用戶可以隨意按照自己想要的節(jié)奏錄制，所以讓機(jī)器通過(guò)用戶拍攝的視頻內(nèi)容，自動(dòng)生成符合視頻節(jié)奏的音樂(lè)，這樣視頻畫(huà)面與音樂(lè)節(jié)奏就會(huì)更匹配、更一致。 

音樂(lè)生成涉及很多具體的技術(shù)，我們也做了非常多的研究，其中一個(gè)問(wèn)題是懂音樂(lè)的不懂計(jì)算機(jī)科學(xué)，懂計(jì)算機(jī)科學(xué)的人不懂音樂(lè)。想要把短視頻配樂(lè)這個(gè)問(wèn)題研究好，需要要有做音樂(lè)和做 AI 的人一起集成創(chuàng)新，這方面我們也做了非常多的工作。

4、2D 圖像驅(qū)動(dòng) 3D 建模實(shí)現(xiàn) Animoji 效果

通過(guò)蘋果的發(fā)布會(huì)，大家應(yīng)該都了解 Animoji 這項(xiàng)技術(shù)，iphoneX 有一個(gè)標(biāo)志性的功能，就是通過(guò)結(jié)構(gòu)光攝像頭實(shí)現(xiàn) Animoji，現(xiàn)在國(guó)內(nèi)手機(jī)廠商也越來(lái)越多地采用結(jié)構(gòu)光的方式去實(shí)現(xiàn) Animoj。而快手是國(guó)內(nèi)較早實(shí)現(xiàn)不使用結(jié)構(gòu)光，只用 RGB 圖像信息就實(shí)現(xiàn) Animoji 效果的企業(yè)。 

用戶不必去花上萬(wàn)元去買 iphoneX，只要用一個(gè)千元的安卓手機(jī)，就可在快手的產(chǎn)品上體驗(yàn) Animoji 的特效，從而能夠在不暴露臉部信息的同時(shí)展現(xiàn)細(xì)微的表情變化，例如微笑、單只眼睛睜單只眼睛閉等，讓原來(lái)一些羞于表演自己才藝的人，也可以非常自如地表達(dá)。我們覺(jué)得做技術(shù)有一個(gè)非?？鞓?lè)的事情，就是讓原來(lái)少數(shù)人才能用的技術(shù)，變得更普惠。 

其實(shí)解決這樣一個(gè)問(wèn)題是非常難的，因?yàn)榧词故窍裉O果這樣的公司，也是采用了結(jié)構(gòu)光這樣配置額外硬件的方式來(lái)解決。想讓每一個(gè)用戶都能享受到最尖端的技術(shù)，快手面臨著硬件的約束，只能通過(guò) 2D 的 RGB 視覺(jué)信息對(duì)問(wèn)題進(jìn)行建模、求解，這里面包括了像 Landmark 人臉關(guān)鍵點(diǎn)檢測(cè)、實(shí)時(shí)重建人臉三維模型等技術(shù)，把 2D 和 3D 兩種不同模態(tài)的信息做建模、做對(duì)齊。

我們也能看到現(xiàn)在市場(chǎng)上可能有一些小型的 APP 在做類似的事情，但體驗(yàn)很差，而我們的整體體驗(yàn)還是非常好非常流暢的，這也需要?dú)w功于深度神經(jīng)網(wǎng)絡(luò)模型的量化，通過(guò)壓縮和加速解決手機(jī)性能問(wèn)題，可適配任意機(jī)型。

多模態(tài)技術(shù)如何實(shí)現(xiàn)精準(zhǔn)理解視頻內(nèi)容

剛才我講的是我們多模態(tài)技術(shù)怎樣去幫助用戶更好地記錄，我們同時(shí)也希望通過(guò)一個(gè)更好的分享機(jī)制，讓用戶發(fā)布的視頻能夠被更多感興趣的人看到。這也涉及視頻推薦里面多模態(tài)的一些問(wèn)題。 

對(duì)視頻內(nèi)容的理解其實(shí)是非常難的，這個(gè)里面我做了兩個(gè)比較有意思的事情。

第一，我們強(qiáng)調(diào)音頻和視覺(jué)的多模態(tài)綜合的建模，而不是僅僅是單獨(dú)的視覺(jué)或者音頻，視覺(jué)和聽(tīng)覺(jué)兩種媒體的融合，會(huì)是未來(lái)一個(gè)非常重要的事情。

第二，在工業(yè)界做的事情和在學(xué)術(shù)界做的事情有很大不同，我們有非常多的用戶數(shù)據(jù)，這些用戶數(shù)據(jù)是不在傳統(tǒng)多媒體內(nèi)容研究范疇里面的，但是工業(yè)界可以很好地利用這些數(shù)據(jù)，更好地做內(nèi)容理解。 

給大家舉個(gè)例子，一個(gè)男子表演口技的視頻中，如果關(guān)閉聲音，僅憑畫(huà)面信息，我們并不知道他是在做什么，可能會(huì)覺(jué)得是在唱歌或唱戲。這說(shuō)明如果僅僅是通過(guò)視覺(jué)的話，你可能無(wú)法獲得真實(shí)的信息。我們對(duì)世界的理解一定是多模態(tài)的理解，而不僅僅是視覺(jué)的理解。

像這樣的視頻在快手?jǐn)?shù)據(jù)庫(kù)中有 70 億，想要理解這么多的視頻內(nèi)容，必須借助多模態(tài)技術(shù)。所以我們?cè)谶@方面也做了非常多的工作，從文本、視覺(jué)、聽(tīng)覺(jué)角度去做了很多單模態(tài)的建模，包括多模態(tài)的綜合建模、有序與無(wú)序，以及多模態(tài)特征之間怎樣進(jìn)行異構(gòu)的建聯(lián)，在很多任務(wù)內(nèi)部的分類上也做了改進(jìn)。

第二點(diǎn)需要強(qiáng)調(diào)的是，像 ImageNET 等很多的學(xué)術(shù)界研究?jī)?nèi)容理解的任務(wù)有非常好的標(biāo)注數(shù)據(jù)集，但是這個(gè)數(shù)據(jù)集對(duì)于工業(yè)界來(lái)說(shuō)還是太小，且多樣性不夠。我們平臺(tái)每天有 1.3 億多用戶以及超過(guò) 150 億次的視頻播放，這個(gè)數(shù)據(jù)是非常大的。如果有 150 億的標(biāo)注數(shù)據(jù)，做算法就會(huì)有很大的幫助，但是現(xiàn)實(shí)上是不具備的。 

那怎樣將研究分析技術(shù)與海量數(shù)據(jù)更好地做到兩者的融合呢？我們通過(guò)融合行為數(shù)據(jù)和內(nèi)容數(shù)據(jù)，進(jìn)行綜合建模，同樣大小的人工標(biāo)注量，利用海量的用戶行為數(shù)據(jù)，能夠獲得比純內(nèi)容模型更好的性能，對(duì)視頻有了一個(gè)更好的理解，進(jìn)而在多媒體內(nèi)容的理解和分析方面的算法研究有了非常大的進(jìn)展，這就使我們?cè)诠I(yè)界和傳統(tǒng)學(xué)術(shù)界做這個(gè)事情時(shí)會(huì)更有優(yōu)勢(shì)。

未來(lái)多模態(tài)研究的熱點(diǎn)：特征表達(dá)與特征對(duì)齊

總結(jié)一下，多模態(tài)內(nèi)容解決的問(wèn)題里面涉及一些模態(tài)的轉(zhuǎn)化，比如怎樣通過(guò) 2D 圖像驅(qū)動(dòng) 3D，怎樣通過(guò)語(yǔ)音生成文本或者通過(guò)文本生成語(yǔ)音，怎樣通過(guò)視覺(jué)驅(qū)動(dòng)音樂(lè)。另外一個(gè)應(yīng)用是我們?cè)鯓油ㄟ^(guò)融合更多信息來(lái)驅(qū)動(dòng)內(nèi)容的理解，其實(shí)都是一個(gè)多模態(tài)的問(wèn)題。在學(xué)術(shù)界有很多研究還是停留在單模態(tài)，但我個(gè)人認(rèn)為未來(lái)多模態(tài)會(huì)成為更有價(jià)值的研究方向。

多模態(tài)研究會(huì)有兩個(gè)難點(diǎn)或者說(shuō)熱點(diǎn)：

第一是多模態(tài)的特征表達(dá)，也就是在多模態(tài)研究框架下怎樣設(shè)計(jì)單模態(tài)的特征，這是一個(gè)非常重要的問(wèn)題。

第二是多模態(tài)特征之間如何對(duì)齊，也就是有沒(méi)有更好的算法對(duì)視覺(jué)、聽(tīng)覺(jué)和行為的部分進(jìn)行統(tǒng)一的建模，這是未來(lái)的一個(gè)熱點(diǎn)。 

幾個(gè)總結(jié)

第一，多模態(tài)未來(lái)會(huì)持續(xù)帶來(lái)更新的人機(jī)交互方式，比如我們剛才講的 Animoji 技術(shù)，其實(shí)它帶來(lái)的是一種可以通過(guò)人臉控制手機(jī)自動(dòng)生成 Avatar（虛擬動(dòng)畫(huà)）的體驗(yàn)。原來(lái)實(shí)現(xiàn)這些效果，需要在好萊塢專門設(shè)一個(gè)特效室來(lái)實(shí)現(xiàn)這一點(diǎn)，而現(xiàn)在普通用戶都能享受這樣的技術(shù)，所以人機(jī)交互會(huì)由原來(lái)重的、貴的、笨的方式轉(zhuǎn)變?yōu)楸阋说摹⒚總€(gè)人都能參與的而且便捷的方式。

第二，我認(rèn)為多模態(tài)技術(shù)會(huì)帶來(lái)新的內(nèi)容形態(tài)，原來(lái)接入信息更多是從文本、頁(yè)面中獲得，現(xiàn)在有視頻，未來(lái)可能還會(huì)有 AR 或者其它的形式。我覺(jué)得多模態(tài) AR 很重要的一點(diǎn)就是強(qiáng)調(diào)沉浸感，這種沉浸感其實(shí)是通過(guò)聽(tīng)覺(jué)和視覺(jué)綜合作用才能產(chǎn)生的。

第三，我認(rèn)為多模態(tài)亟需新的算法和大型的數(shù)據(jù)，因?yàn)檫@兩者可能會(huì)是一個(gè)某種意義上可以相互折算的問(wèn)題。以目前的機(jī)器學(xué)習(xí)算法來(lái)講，需要海量的數(shù)據(jù)才能解決好這個(gè)問(wèn)題，因?yàn)楝F(xiàn)在深度學(xué)習(xí)、內(nèi)容理解的成果，某種意義上是監(jiān)督學(xué)習(xí)的成果，有足夠的樣本、算力，所以現(xiàn)在的算法能力基本上還停留在對(duì)算力和數(shù)據(jù)有著非常大要求的階段。而多模態(tài)的大型數(shù)據(jù)是非常難建的，而且多模態(tài)解的空間是更大的。因?yàn)橐粋€(gè)模態(tài)解的空間是 n，另外一個(gè)是 m，它最后是一個(gè)乘積、一個(gè)指數(shù)級(jí)的變化，所以數(shù)據(jù)集要多大才足夠是一個(gè)很難的這個(gè)問(wèn)題，可能需要新的算法來(lái)對(duì)這個(gè)問(wèn)題進(jìn)行建模。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。