雷鋒網(wǎng) AI 科技評(píng)論消息，中國(guó)多媒體大會(huì)日前于西安召開(kāi)，會(huì)上，快手科技 AI 技術(shù)副總裁鄭文分享了多媒體技術(shù)，尤其是 AI 技術(shù)在快手的應(yīng)用。他表示，快手的使命是「用科技提升每一個(gè)人獨(dú)特的幸福感」，這其中涉及到視頻和用戶(hù)的雙向感知，用到多項(xiàng) AI 技術(shù)。他重點(diǎn)描述了內(nèi)容生產(chǎn)和內(nèi)容理解兩大模塊涉及到的相關(guān)技術(shù)，以下為他的演講內(nèi)容，有刪減。這一事件在雷鋒網(wǎng)旗下學(xué)術(shù)頻道 AI 科技評(píng)論數(shù)據(jù)庫(kù)產(chǎn)品「AI 影響因子」有相應(yīng)加分。

快手 AI 技術(shù)副總裁鄭文：快手在 AI 技術(shù)上的一些應(yīng)用

鄭文，清華大學(xué)軟件學(xué)院 2001 級(jí)校友，斯坦福大學(xué)計(jì)算機(jī)系博士，曾在硅谷多家知名大公司、創(chuàng)業(yè)企業(yè)從事計(jì)算機(jī)圖形學(xué)、計(jì)算機(jī)視覺(jué)、深度學(xué)習(xí)等方向的研究，現(xiàn)任快手 AI 技術(shù)副總裁，帶領(lǐng)快手在 AI、AR、CV、CG 等方向的前沿研究。

快手的使命是「用科技提升每一個(gè)人獨(dú)特的幸福感」。這里有兩個(gè)關(guān)鍵詞，一是「每一個(gè)人」，這說(shuō)明快手的價(jià)值觀是非常普適的，但我們同時(shí)也強(qiáng)調(diào)每個(gè)人的幸福感是「獨(dú)特的」。這兩個(gè)關(guān)鍵詞加在一起，就對(duì)我們的工作提出非常大的挑戰(zhàn)，快手希望通過(guò)科技的手段達(dá)成這一目的。

目前快手是通過(guò)記錄來(lái)提升幸福感的，這可以從兩個(gè)方面來(lái)體現(xiàn)。首先，用戶(hù)希望能看到更廣闊的世界。第二，用戶(hù)也有分享自己，被更廣闊的世界看到的需求。

但是這里面臨一個(gè)挑戰(zhàn)，現(xiàn)在快手累計(jì)擁有超過(guò) 50 億條視頻，已數(shù)億用戶(hù)，在這兩個(gè)海量的數(shù)字面前，如何有效分配注意力？過(guò)去，注意力一般會(huì)集中在所謂的「爆款視頻」里，但在爆款視頻之下，還有大量可能包含了非常豐富的信息、類(lèi)別多樣化的內(nèi)容，這種「長(zhǎng)尾視頻」往往很難被別人注意到。如此，一些需求小眾，或者興趣比較細(xì)分的群體往往很難找到他們想要的內(nèi)容。

單單依靠人工手段很難解決這一問(wèn)題，因?yàn)槲覀冃枰谝曨l和用戶(hù)中實(shí)現(xiàn)雙向感知，進(jìn)行精確匹配，這背后要處理的是萬(wàn)億級(jí)的大數(shù)據(jù)?？焓謴暮茉缇烷_(kāi)始引用 AI 技術(shù)去解決這個(gè)問(wèn)題。今天，從視頻生產(chǎn)到視頻分發(fā)，在快手整個(gè)流程中使用了大量的 AI 技術(shù)。

內(nèi)容生產(chǎn)

快手今年推出了一些流行的爆款特效。比如「時(shí)光機(jī)」魔法表情可以展示人的面部從年輕到變老的過(guò)程展現(xiàn)出來(lái)，挑起用戶(hù)內(nèi)心深層次的情感。「尬舞機(jī)」魔法表情，將拍攝和游戲結(jié)合在一起，使記錄變得更加有趣。

我們也希望將內(nèi)容質(zhì)量變得更高，研發(fā)并應(yīng)用了很多圖像增強(qiáng)技術(shù)。例如，用戶(hù)在光線很暗的環(huán)境下拍攝，產(chǎn)出的視頻往往會(huì)丟失信息和細(xì)節(jié)，通過(guò)暗光增強(qiáng)技術(shù)，可以將這些細(xì)節(jié)恢復(fù)。

我們也希望通過(guò) AI 技術(shù)使得記錄更加豐富有趣，同時(shí)又具有更高的質(zhì)量?；谶@個(gè)目標(biāo)，我們開(kāi)發(fā)了大量多媒體和 AI 技術(shù)，比如背景分割、天空分割、頭發(fā)分割，人體關(guān)鍵點(diǎn)、人臉關(guān)鍵點(diǎn)、手勢(shì)關(guān)鍵點(diǎn)檢測(cè)等等。

但快手有很大一部分用戶(hù)使用的是中低端機(jī)型，而現(xiàn)在先進(jìn)的 AI 技術(shù)對(duì)設(shè)備的計(jì)算量的要求極高，如何讓先進(jìn)的技術(shù)被最多的用戶(hù)體驗(yàn)到，我們希望對(duì)底層平臺(tái)進(jìn)行定制化開(kāi)發(fā)，基于快手自研的 YCNN 深度學(xué)習(xí)推理引擎，上述技術(shù)在大多數(shù)機(jī)型上都能高效運(yùn)行，并針對(duì)不同機(jī)型、不同硬件進(jìn)行了適配和優(yōu)化。

接下來(lái)是我們近期在內(nèi)容生產(chǎn)方面的研發(fā)的一些技術(shù)：三維人臉，針對(duì)單張人臉圖像恢復(fù)出人臉的三維信息，一方面可以實(shí)現(xiàn)對(duì)人臉的一些修改，比如打光、做一些表情、實(shí)現(xiàn)三維變臉特效；另一方面，通過(guò)三維人臉信息，我們可以提取出人的表情變化，然后把表情遷移到虛擬的玩偶上，這類(lèi)似于 iPhoneX 推出的 Animoji 功能，但 iPhoneX 有結(jié)構(gòu)光，且運(yùn)行 Animoji 需要很強(qiáng)大的算力，我們通過(guò)技術(shù)研發(fā)，在配置較低的手機(jī)上也能實(shí)現(xiàn)類(lèi)似功能。

剛才也提到了語(yǔ)義分割，比如把人像和背景分開(kāi)，分別對(duì)人像和背景做特效，或者替換背景，另外還可以做人像虛化；頭發(fā)分割，可以把頭發(fā)區(qū)域分割出來(lái)，做染發(fā)效果。另外還有如天空分割等其他分割技術(shù)。

人體姿態(tài)估計(jì)則是預(yù)測(cè)人的關(guān)節(jié)點(diǎn)位置，利用這一技術(shù)，我們可以在肢體上加特效，或者修改人的體型，做美體瘦身功能。此外，我們還利用人體姿態(tài)去給跳舞動(dòng)作打分。

手勢(shì)檢測(cè)是把各種特定的不同手形檢測(cè)出來(lái)，實(shí)現(xiàn)「控雨」等玩法。另外還有 AR 相機(jī)姿態(tài)估計(jì)，背后是快手自研的 3D 引擎，并在其基礎(chǔ)上添加編輯器模塊、渲染模塊、肢體模塊、聲音模塊等，來(lái)實(shí)現(xiàn)模型精致而自然的光感、材質(zhì)。

在音視頻方面，我們運(yùn)用了很多智能算法，比如需要視頻盡可能清晰，但同時(shí)也要求傳輸流暢，這就需要針對(duì)視頻復(fù)雜度做一些自適應(yīng)優(yōu)化。另外，我們也會(huì)對(duì)圖像的 ROI 進(jìn)行分析，比如視頻里面人臉的區(qū)域往往對(duì)大家的觀感影響最大，我們會(huì)把人臉的區(qū)域檢測(cè)出來(lái)，然后將碼率做得更高，使得整體觀感獲得很大的提升。

我們也會(huì)檢測(cè)圖像質(zhì)量，比如視頻生產(chǎn)過(guò)程中存在一些導(dǎo)致圖像質(zhì)量較低的因素，如拍攝沒(méi)有對(duì)好焦，鏡頭長(zhǎng)期沒(méi)有擦試，或者視頻經(jīng)過(guò)多次上傳和壓縮而產(chǎn)生塊狀瑕疵。我們會(huì)把這些問(wèn)題通過(guò) AI 算法檢測(cè)出來(lái)，一方面提醒用戶(hù)拍攝的時(shí)候注意這些問(wèn)題，另一方面在做視頻推薦時(shí)也會(huì)對(duì)高質(zhì)量視頻進(jìn)行一些傾斜。

內(nèi)容理解

內(nèi)容生產(chǎn)環(huán)節(jié)完成后，視頻會(huì)被上傳到后端服務(wù)器，這里我們需要對(duì)視頻內(nèi)容進(jìn)行更深層次的理解。視頻的內(nèi)容理解會(huì)用在很多方面，比如內(nèi)容安全、原創(chuàng)保護(hù)、推薦、搜索、廣告等等。這里大概分為兩個(gè)階段。

首先是感知階段，從人臉、圖像、音樂(lè)、語(yǔ)音四個(gè)維度對(duì)視頻信息進(jìn)行理解。

人臉是一個(gè)很重要的維度，因?yàn)槿四樛巳怂P(guān)心的最主要的部分，我們會(huì)對(duì)人臉區(qū)域進(jìn)行檢測(cè)，識(shí)別身份，跟蹤位置，提取關(guān)鍵點(diǎn)，得到年齡、性別、表情等信息。

另外一個(gè)維度是圖像層面，我們會(huì)對(duì)圖像進(jìn)行分類(lèi)，如圖像是在什么場(chǎng)景下，此外也會(huì)檢測(cè)圖像中有哪些物體，還會(huì)進(jìn)行圖像質(zhì)量評(píng)估，以及利用 OCR 技術(shù)從圖像中提取文字。

音樂(lè)也是一個(gè)非常重要的因素，它是影響視頻感染力很重要的一部分，我們可以從視頻里識(shí)別出音樂(lè)類(lèi)型，甚至可以對(duì)音樂(lè)進(jìn)行結(jié)構(gòu)化分析，把伴奏和歌唱的部分分開(kāi)。最近我們也加入了 K 歌功能，現(xiàn)在在研發(fā)如何美化歌聲，給歌聲打分等等。

語(yǔ)音也是視頻非常重要的維度，往往從圖像中可能并不能很好地得到視頻所傳達(dá)的信息，這時(shí)候語(yǔ)音就非常重要，我們會(huì)把語(yǔ)音識(shí)別出來(lái)轉(zhuǎn)化成文字，也會(huì)通過(guò)語(yǔ)音去識(shí)別這個(gè)人的身份、年齡、性別等等。

第二是推理階段，通過(guò)把這些不同維度的信息進(jìn)行多模態(tài)融合，推理出更高層次的語(yǔ)音信息，或者對(duì)視頻進(jìn)行情感識(shí)別。我們也用到知識(shí)圖譜技術(shù)，把視頻里的知識(shí)存儲(chǔ)在知識(shí)圖譜里表達(dá)出來(lái)。通過(guò)知識(shí)圖譜的推理，我們能夠得到一些更高層、更深入的信息。

以下是我們?cè)趦?nèi)容理解方面一些比較具體的技術(shù)，如快手開(kāi)發(fā)了一套視頻標(biāo)簽系統(tǒng)，可以對(duì)視頻里出現(xiàn)的大多數(shù)內(nèi)容和場(chǎng)景進(jìn)行分類(lèi)。在快手語(yǔ)音識(shí)別功能模塊，我們采用深度學(xué)習(xí)算法，結(jié)合上下文語(yǔ)境模塊，使得識(shí)別精度得到很大提升。

一方面，我們需要理解視頻內(nèi)容，另一方面，我們也需要對(duì)用戶(hù)進(jìn)行理解。這里包含用戶(hù)的基本信息，比如年齡、性別、IP 地址、地點(diǎn)、手機(jī)型號(hào)等等。用戶(hù)在實(shí)時(shí)使用快手時(shí)，也會(huì)產(chǎn)生一些行為數(shù)據(jù)，這些數(shù)據(jù)都會(huì)傳送到后端的深度學(xué)習(xí)模型里，訓(xùn)練出對(duì)用戶(hù)理解的向量。通過(guò)這些向量，我們可以預(yù)測(cè)用戶(hù)的興趣以及他與其他用戶(hù)之間的關(guān)系。

最后我們得到對(duì)用戶(hù)的描述以及對(duì)視頻的理解，用戶(hù)和視頻之間的匹配就會(huì)產(chǎn)生萬(wàn)億級(jí)別特征的大數(shù)據(jù)，這個(gè)大數(shù)據(jù)就會(huì)被用在實(shí)時(shí)在線的推薦系統(tǒng)里。

另外我們也會(huì)對(duì)社區(qū)里的內(nèi)容進(jìn)行排序，比如前面提到如何分配注意力，我們希望注意力分配的差距不要太大，所以會(huì)根據(jù)基尼系數(shù)調(diào)整視頻內(nèi)容的分配情況。此外，還會(huì)考慮到內(nèi)容的安全性、多樣性以及原創(chuàng)保護(hù)等因素。

（完）

雷鋒網(wǎng)雷鋒網(wǎng)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。