最近在看《二十不惑》的時(shí)候，發(fā)現(xiàn)愛(ài)奇藝左邊有一個(gè)按鈕，點(diǎn)擊一下可以識(shí)別出畫(huà)面中出現(xiàn)的人物，并顯示百科資料。

真是完美解決了觀眾的常見(jiàn)需求——這人是誰(shuí)呀？

這個(gè)功能是愛(ài)奇藝推出的“奇觀”，支持即時(shí)識(shí)別和搜索視頻內(nèi)信息。簡(jiǎn)單來(lái)說(shuō)，它是識(shí)別技術(shù)在視頻領(lǐng)域中創(chuàng)新的應(yīng)用。

實(shí)際上，在當(dāng)下的生活場(chǎng)景中，識(shí)別技術(shù)的應(yīng)用無(wú)處不在。

無(wú)論是手機(jī)解鎖、門(mén)禁開(kāi)鎖，還是外出場(chǎng)景下的商場(chǎng)試衣、上班打卡、公路抓拍、高鐵檢票，亦或是疫情當(dāng)下的體溫檢測(cè)······

與此同時(shí)，不論是迪士尼研發(fā)機(jī)器學(xué)習(xí)平臺(tái)做卡通識(shí)別，還是愛(ài)奇藝推出奇觀，可以很明顯感受到，識(shí)別技術(shù)的博弈戰(zhàn)場(chǎng)，已經(jīng)“殺”到了視頻行業(yè)。

簡(jiǎn)易識(shí)別，技術(shù)不簡(jiǎn)單

一鍵識(shí)別視頻中的信息，很輕松的解決了用戶不同層面獲取信息的需求。

但仔細(xì)想想，技術(shù)上的實(shí)現(xiàn)，還真挺難的。

比如奇觀，除了提供影視內(nèi)容，還覆蓋了演員資料查詢、BGM 樂(lè)曲識(shí)別、戲曲知識(shí)解析、臺(tái)詞提取理解等功能需求；而這些，都是基于識(shí)別技術(shù)的融合。

還以開(kāi)頭提到的熱播劇《二十不惑》為例，基于劇集帶來(lái)的熱度，當(dāng)中的演員也成為了關(guān)注焦點(diǎn)。

如果用戶對(duì)其中的“新人演員”有了解需求，可以直接利用該劇的播放平臺(tái)愛(ài)奇藝的“奇觀”功能點(diǎn)擊識(shí)別，了解其百科信息。

不過(guò)，盡管操作簡(jiǎn)單快捷，但要真正做到精確識(shí)別，可不容易。

先看“人物識(shí)別”。

“人物識(shí)別”的難度主要表現(xiàn)在兩個(gè)方面——多人物畫(huà)面識(shí)別和模糊性識(shí)別。

在影視畫(huà)面中，同時(shí)出現(xiàn)多個(gè)任務(wù)的畫(huà)面并不少見(jiàn)，要在同一個(gè)畫(huà)面中精確識(shí)別出特定人物，或是覆蓋畫(huà)面出現(xiàn)的所有人物，這種非“1:1”的識(shí)別，是極具挑戰(zhàn)性的。

最為典型的，是類似于《青春有你2》的選秀型綜藝。無(wú)論是團(tuán)體表演畫(huà)面，還是觀戰(zhàn)席畫(huà)面，多人物畫(huà)面無(wú)處不在。

另外，對(duì)于尚未出道的練習(xí)生，識(shí)別數(shù)據(jù)庫(kù)是否足夠全面以覆蓋所有新人，也是識(shí)別的難點(diǎn)之一。

對(duì)于模糊性識(shí)別的難點(diǎn)，在實(shí)際應(yīng)用中，由于姿態(tài)、表情、遮擋、角色化妝、鏡頭移動(dòng)速度過(guò)快等非受限場(chǎng)景帶來(lái)的畫(huà)面模糊，也會(huì)給人物識(shí)別增加難度。

在“識(shí)人”場(chǎng)景中，除了演員人物識(shí)別，還有動(dòng)畫(huà)人物識(shí)別；這也是目前多個(gè)流媒體平臺(tái)主要的著力方向。

不同于含有端正五官的人臉，卡通人物的臉部較為抽象，且種類豐富，既有動(dòng)物外觀的《熊出沒(méi)》，也有機(jī)器人外形的《鎧甲勇士》，甚至于還有長(zhǎng)得一模一樣的人形七兄弟“葫蘆娃”······

想要實(shí)現(xiàn)精確識(shí)別，只能說(shuō)“太難了！”

再看“內(nèi)容識(shí)別”。

內(nèi)容識(shí)別主要體現(xiàn)為語(yǔ)音識(shí)別，包括 BGM 識(shí)別和臺(tái)詞提取。

在影視片段中，不乏有環(huán)境音嘈雜的情況，比如多人同時(shí)會(huì)話、播放 BGM 時(shí)有說(shuō)話聲等，這些都會(huì)對(duì)識(shí)別造成一定難度，影響 BGM 識(shí)別、臺(tái)詞內(nèi)容提取的效果。

不難看出，要想在流媒體領(lǐng)域中真正實(shí)現(xiàn)精確識(shí)別，路上還有很多“石子”。

那么，要如何掃清這些障礙物？

在于技術(shù)的積累。

識(shí)別技術(shù)，為何如此重要？

放眼全球，包括 Netflix、YouTube、迪士尼在內(nèi)的流媒體平臺(tái)均在識(shí)別技術(shù)上狠下功夫，國(guó)內(nèi)流媒體平臺(tái)中，愛(ài)奇藝、優(yōu)酷、騰訊同樣在利用機(jī)器學(xué)習(xí)提升識(shí)別技術(shù)。

識(shí)別技術(shù)，為何如此重要？

先看幾個(gè)應(yīng)用實(shí)例：

• Netflix 利用 AI 生成預(yù)告片：通過(guò)識(shí)別電影內(nèi)容，分析人物、景色、物體、臺(tái)詞、配樂(lè)后，根據(jù)既定工業(yè)化套路生成預(yù)告。

• YouTube 自動(dòng)刪除不良內(nèi)容：利用人工智能分類器，對(duì)用戶上傳內(nèi)容進(jìn)行自動(dòng)識(shí)別和標(biāo)記，再清理不符標(biāo)準(zhǔn)的內(nèi)容。

• 迪士尼“內(nèi)容基因組平臺(tái)”：將面部識(shí)別軟件應(yīng)用至電影和電視節(jié)目中，識(shí)別成功后，進(jìn)一步探測(cè)到特定位置，幫助動(dòng)畫(huà)師找到特定鏡頭和序列。

• 優(yōu)酷“魚(yú)腦”系統(tǒng)：快速掃描內(nèi)容，識(shí)別各類場(chǎng)景、人物情緒、語(yǔ)言等信息并打上標(biāo)簽，再進(jìn)一步分析劇本、明星角色提供數(shù)據(jù)化參考。

• 愛(ài)奇藝“奇觀”：通過(guò)畫(huà)面信息識(shí)別，能夠進(jìn)行人物檢索、臺(tái)詞抽取解析、鏈接同款商品等。

不難發(fā)現(xiàn)，各大流媒體平臺(tái)上出現(xiàn)的個(gè)性化功能服務(wù)都離不開(kāi)“識(shí)別技術(shù)”；識(shí)別是基礎(chǔ)，生成、定位、分析都列在其后。

先有地基，再有高樓，地基打得穩(wěn)，樓層才建得高。

正是基于識(shí)別技術(shù)的重要性，國(guó)內(nèi)外流媒體巨頭才不遺余力展開(kāi)研發(fā)。識(shí)別技術(shù)的賽跑，正在展開(kāi)。

前有 Netflix 通過(guò)舉辦競(jìng)賽方式將算法提升了 10%，后有愛(ài)奇藝與 PRCV2018、ACMMM 等頂尖會(huì)議合作舉辦“多模態(tài)視頻人物識(shí)別挑戰(zhàn)賽”，聯(lián)合產(chǎn)學(xué)研探索識(shí)別技術(shù)的落地和應(yīng)用。

值得說(shuō)明的是，多模態(tài)人物識(shí)別是指利用人臉、人頭、人體、聲紋等多維度特征信息進(jìn)行識(shí)別的一項(xiàng) AI 前沿技術(shù)，能夠提高綜藝、電影、電視劇中的人物識(shí)別率。據(jù)報(bào)道，愛(ài)奇藝奇觀已經(jīng)可以識(shí)別近 10 萬(wàn)明星。

競(jìng)賽固然是提升技術(shù)實(shí)力的好方式，但對(duì)于“識(shí)別技術(shù)”，數(shù)據(jù)庫(kù)的積累，也同樣重要。

以人臉識(shí)別為例，流媒體平臺(tái)的識(shí)別是“1vＮ”的人臉查找形式，數(shù)據(jù)庫(kù)越全面，訓(xùn)練AI的樣本越多，識(shí)別率越高。

比如在愛(ài)奇藝今年舉辦的卡通人物檢測(cè)識(shí)別挑戰(zhàn)賽中，愛(ài)奇藝面向參賽者開(kāi)放全球已知范圍內(nèi)最大的手工標(biāo)注卡通人物檢測(cè)數(shù)據(jù)集與識(shí)別數(shù)據(jù)集，提供累計(jì)超 40 萬(wàn)張高質(zhì)量、實(shí)際取材的海量實(shí)景圖片。這為參賽者的研發(fā)提供了極大支持。

打開(kāi)應(yīng)用想象空間

有了技術(shù)的積累與沉淀，下一步，便是落地應(yīng)用。

無(wú)論是人物識(shí)別的數(shù)據(jù)積累，還是語(yǔ)音識(shí)別的技術(shù)突破，基礎(chǔ)技術(shù)的進(jìn)步都能夠?yàn)閼?yīng)用場(chǎng)景帶來(lái)更多的想象空間。

對(duì)于流媒體平臺(tái)，在這一空間內(nèi)的主體，不外乎用戶、創(chuàng)作者以及商家。

對(duì)用戶而言，在“識(shí)別技術(shù)”的助攻下，用戶能夠享受到更為個(gè)性化的服務(wù)，例如，YouTube “Up Next”功能生成實(shí)時(shí)推薦；愛(ài)奇藝“奇觀”的明星信息查詢以及進(jìn)入其泡泡社區(qū)。

另外，用戶還能夠“只看想看”的內(nèi)容。通過(guò)“只看TA” 功能，用戶就可以只看自己愛(ài)豆 cut 的部分，無(wú)需手動(dòng)快進(jìn)跳過(guò)。這一功能，在愛(ài)奇藝、騰訊視頻等流媒體平臺(tái)都能夠?qū)崿F(xiàn)。

除了“只看想看”，用戶還可以“邊看邊學(xué)”。

對(duì)于部分涉及專業(yè)知識(shí)的劇集，例如《鬢邊不是海棠紅》，通過(guò)奇觀功能，用戶能夠邊看邊了解相關(guān)戲曲知識(shí)。

對(duì)創(chuàng)作者來(lái)說(shuō)，基于識(shí)別技術(shù)的進(jìn)步，利用 AI 剪輯預(yù)告片、利用 AI 創(chuàng)作等功能便顯得輕而易舉。

至于商業(yè)價(jià)值上的體現(xiàn)，或許可從綜藝節(jié)目《潮流合伙人》中窺見(jiàn)一二。

這是一檔潮流經(jīng)營(yíng)體驗(yàn)節(jié)目，節(jié)目中呈現(xiàn)了許多衣物、配飾?；谄嬗^功能，用戶在愛(ài)奇藝平臺(tái)觀看過(guò)程中，可以根據(jù)個(gè)人喜好識(shí)別明星同款商品，進(jìn)行一鍵購(gòu)買(mǎi)。

這種通過(guò)綜藝節(jié)目直接鏈接至購(gòu)買(mǎi)界面的方式，不僅是對(duì)用戶的服務(wù)升級(jí)，從商業(yè)層面來(lái)看，更是開(kāi)啟了新?tīng)I(yíng)銷時(shí)代的大門(mén)。

另外，利用識(shí)別影視內(nèi)容進(jìn)行廣告的精準(zhǔn)投放也是商業(yè)價(jià)值體現(xiàn)之一。例如，當(dāng)劇中人物感冒生病時(shí)，可以投放醫(yī)藥類相關(guān)商品。

從各場(chǎng)景下的應(yīng)用不難看出，像奇觀之類的流媒體 AI 功能正扮演著“新娛樂(lè)生態(tài)入口”的角色，將用戶、創(chuàng)作者、商家有機(jī)連接。

同時(shí)，技術(shù)升級(jí)帶來(lái)了體驗(yàn)升維，在便捷性功能的包圍下，用戶也越來(lái)越接受技術(shù)帶來(lái)的“更上一層樓”的服務(wù)。

以愛(ài)奇藝奇觀為例，截至目前，奇觀功能累計(jì)使用量已超 20 億次，在愛(ài)奇藝 App 中，奇觀近一個(gè)月日均使用人次相較于上月增長(zhǎng)超 30%。

可以想見(jiàn)，流媒體平臺(tái)之間的競(jìng)爭(zhēng)已不僅僅局限于內(nèi)容層面的博弈，而是進(jìn)階為“體驗(yàn)”層級(jí)。

新一輪的視頻平臺(tái)競(jìng)賽，在內(nèi)容之外，還有“技術(shù)”這一新賽道。

而流媒體平臺(tái)的制勝之道，是順應(yīng)趨勢(shì)，深耕技術(shù)，升級(jí)服務(wù)，打開(kāi)流媒體領(lǐng)域的想象空間。

誰(shuí)能提供更好的內(nèi)容與服務(wù)，誰(shuí)就握住了王牌。

雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。