雷鋒網(wǎng) AI 科技評(píng)論按，2018 中國(guó)計(jì)算機(jī)大會(huì)（CNCC2018）于 10 月 25-27 日在杭州國(guó)際博覽中心舉辦，會(huì)議由中國(guó)計(jì)算機(jī)學(xué)會(huì)（CCF）主辦，杭州市蕭山區(qū)人民政府、浙江大學(xué)承辦，浙江工業(yè)大學(xué)、浙江工商大學(xué)、杭州電子科技大學(xué)協(xié)辦。今年的大會(huì)主題是「大數(shù)據(jù)推動(dòng)數(shù)字經(jīng)濟(jì)（Big Data Drives the Digital Economy）」，CNCC 邀請(qǐng)到近 400 位國(guó)內(nèi)外計(jì)算機(jī)領(lǐng)域知名專家、企業(yè)家到會(huì)演講，會(huì)議包括 15 個(gè)特邀報(bào)告、3 個(gè)大會(huì)論壇，60 個(gè)技術(shù)論壇，20 場(chǎng)特色活動(dòng)。

今天已是大會(huì)最后一日，上午精彩的主論壇結(jié)束之后，迎來(lái)了下午多場(chǎng)技術(shù)論壇。在「高通量媒體內(nèi)容理解」論壇上，來(lái)自學(xué)界的兩位嘉賓——中國(guó)科學(xué)技術(shù)大學(xué)張勇東教授、北航計(jì)算機(jī)學(xué)院長(zhǎng)江學(xué)者特聘教授李波，以及來(lái)自業(yè)界的兩位嘉賓——字節(jié)跳動(dòng)人工智能實(shí)驗(yàn)室總監(jiān)王長(zhǎng)虎、快手多媒體內(nèi)容理解部負(fù)責(zé)人李巖帶來(lái)了四場(chǎng)精彩的分享，內(nèi)容涉及到一系列圖像、視頻理解相關(guān)技術(shù)及其應(yīng)用，還有目前所面臨的一系列挑戰(zhàn)。

論壇伊始，論壇主席、合肥工業(yè)大學(xué)計(jì)算與信息學(xué)院教授洪日昌對(duì)高通量媒體進(jìn)行了介紹，他表示，在大數(shù)據(jù)時(shí)代，以圖像、視頻為代表的高通量媒體內(nèi)容數(shù)據(jù)不僅規(guī)模龐大，還具有三個(gè)特點(diǎn)：高維度、大流量、高并發(fā)。今天的嘉賓將會(huì)針對(duì)高通量媒體內(nèi)容，站在學(xué)術(shù)和工業(yè)界的角度進(jìn)行分享。

中國(guó)科學(xué)技術(shù)大學(xué)張勇東教授是第一位上臺(tái)演講的嘉賓，他的演講主題為《互聯(lián)網(wǎng)視頻的高效流式計(jì)算》。

中國(guó)科學(xué)技術(shù)大學(xué)張勇東教授

大數(shù)據(jù)處理系統(tǒng)可分為批量計(jì)算和流式計(jì)算，他形象地介紹了這兩種計(jì)算并探討了其差別。流式計(jì)算是指利用分布式并行化的思想和方法，對(duì)海量流式數(shù)據(jù)進(jìn)行實(shí)時(shí)處理。批量計(jì)算的特點(diǎn)是時(shí)效性、持續(xù)性、魯棒性、高發(fā)性。

目前面臨的問(wèn)題是，視頻網(wǎng)站產(chǎn)生的數(shù)據(jù)非常多，表現(xiàn)出強(qiáng)動(dòng)態(tài)、大流量、高并發(fā)的特點(diǎn)，傳統(tǒng)的計(jì)算方法難以解決現(xiàn)有問(wèn)題。他講解了視頻流式計(jì)算研究框架，主要應(yīng)用有互聯(lián)網(wǎng)視頻內(nèi)容安全（實(shí)時(shí)發(fā)現(xiàn)與阻斷視頻流有害內(nèi)容），互聯(lián)網(wǎng)視頻信息服務(wù)（視頻流在線轉(zhuǎn)播、檢索等）。

隨后，他剖析了技術(shù)發(fā)展現(xiàn)狀：

• 流式編解碼計(jì)算存在問(wèn)題。前人研究希望通過(guò)算法簡(jiǎn)化/動(dòng)態(tài)調(diào)度解決這一問(wèn)題，但算法簡(jiǎn)化會(huì)導(dǎo)致視頻壓縮性能損失大，動(dòng)態(tài)調(diào)度會(huì)導(dǎo)致并行粒度低。

• 流式相似性計(jì)算。傳統(tǒng)方法是基于尺度空間等比固定、數(shù)據(jù)獨(dú)立分布的假設(shè)，但這存在弊端。通過(guò)哈希學(xué)習(xí)忽略了流式計(jì)算的特性。

• 流式語(yǔ)義計(jì)算。存在的問(wèn)題是視覺(jué)多義性和語(yǔ)義多態(tài)性強(qiáng)，視覺(jué)語(yǔ)義復(fù)雜關(guān)聯(lián)。前人試圖通過(guò)全局分類方法解決這一問(wèn)題。

針對(duì)前面的問(wèn)題，相關(guān)研究如下：

• 視頻流式編解碼。針對(duì)模式?jīng)Q策、運(yùn)動(dòng)估計(jì)、環(huán)路濾波都提出了新方法。他描述了基于圖優(yōu)化的并行運(yùn)動(dòng)估計(jì)、基于概率轉(zhuǎn)移預(yù)測(cè)的并行環(huán)路濾波等，并與傳統(tǒng)方法進(jìn)行了對(duì)比。

• 視頻流式相似性計(jì)算。他談到特征提取、特征融合、特征量化、特征索引、特征度量。在數(shù)據(jù)去相關(guān)性、特征融合上，他談到數(shù)據(jù)去相關(guān)性形式化描述。

• 視頻流式語(yǔ)義計(jì)算。一是稀疏集成學(xué)習(xí)，二是弱標(biāo)注的語(yǔ)義深度學(xué)習(xí)。他詳細(xì)介紹了稀疏集成學(xué)習(xí)的框架圖，實(shí)驗(yàn)情況，弱標(biāo)注的語(yǔ)義深度學(xué)習(xí)模型。

演講最后，張勇東教授對(duì)視頻流式編解碼、視頻流式相似性計(jì)算、視頻流式語(yǔ)義計(jì)算、視頻流式計(jì)算平臺(tái)方面的下一步的工作進(jìn)行了展望。

第二位演講嘉賓是字節(jié)跳動(dòng)人工智能實(shí)驗(yàn)室總監(jiān)王長(zhǎng)虎博士。開(kāi)場(chǎng)伊始，他用一段簡(jiǎn)短視頻對(duì)抖音進(jìn)行了介紹。他總結(jié)道，抖音里的內(nèi)容非常豐富和精彩，也進(jìn)一步分析了抖音影響力如此大的三個(gè)因素：算法力、運(yùn)營(yíng)力、產(chǎn)品力。

字節(jié)跳動(dòng)人工智能實(shí)驗(yàn)室總監(jiān)王長(zhǎng)虎博士

他此次帶來(lái)的內(nèi)容是抖音背后一系列的計(jì)算機(jī)視覺(jué)技術(shù)，包括 AI Camera 技術(shù)、人臉檢測(cè)和標(biāo)定技術(shù)、人體關(guān)鍵點(diǎn)檢測(cè)技術(shù)、分割技術(shù)。他分別分析了抖音在這些技術(shù)上的優(yōu)勢(shì)和目前面臨的挑戰(zhàn)。對(duì)于人臉檢測(cè)和標(biāo)定技術(shù)，他們的優(yōu)勢(shì)有關(guān)鍵毫秒級(jí)定位，在側(cè)臉、暗光等復(fù)雜環(huán)境下算法魯棒，這一技術(shù)的應(yīng)用場(chǎng)景非常多，例如人臉美化，貼紙、人臉特效，眉形、美瞳、口紅等的在線試妝。

隨后，他談到視頻推薦以及視頻理解。在視頻推薦算法中，如何優(yōu)化打分函數(shù)，讓用戶獲得更好的體驗(yàn)，這是值得研究的重點(diǎn)。視頻理解包括對(duì)視頻分類、打標(biāo)簽等，面臨的挑戰(zhàn)有很多，如投稿量巨大、視頻持續(xù)快速增長(zhǎng)、覆蓋范圍廣、產(chǎn)品影響大、算法要求高、問(wèn)題種類多、樣本極不均衡、問(wèn)題區(qū)域小，解決方式也有很多，如人機(jī)耦合、多重審核機(jī)制、定制化模型。

隨后他還提到大規(guī)模視頻分類和標(biāo)簽，他舉出了一些需要用技術(shù)解決的例子，如篩選出一些無(wú)意義視頻、黑屏視頻等。對(duì)于視頻中的 OCR 技術(shù)，他表示，有些問(wèn)題很難，需要能精細(xì)檢測(cè)和分割。

最后，王長(zhǎng)虎博士總結(jié)，計(jì)算機(jī)視覺(jué)技術(shù)除了在抖音上有廣泛應(yīng)用，還支撐著今日頭條、火山小視頻、西瓜視頻。他表示，計(jì)算機(jī)視覺(jué)是抖音和今日頭條很多產(chǎn)品的重要基石，希望更多老師和同學(xué)加入字節(jié)跳動(dòng)公司。

快手多媒體內(nèi)容理解部負(fù)責(zé)人李巖是第三位上臺(tái)嘉賓，他的演講內(nèi)容是《多模態(tài)內(nèi)容生成與理解》。在演講中，他為大家介紹了快手是一家怎樣的公司，以及他們?yōu)槭裁匆芯慷嗄B(tài)內(nèi)容生成與理解技術(shù)。

快手多媒體內(nèi)容理解部負(fù)責(zé)人李巖

「即使你處在偏遠(yuǎn)的山村，也有希望通過(guò)快手的作品獲得更多粉絲，消除孤獨(dú)感，獲得更多的連接。」李巖如是說(shuō)道，他舉了幾個(gè)典型的快手視頻案例來(lái)說(shuō)明。

快手有海量多模態(tài)數(shù)據(jù)，超過(guò) 70 億條短視頻數(shù)據(jù)，超過(guò) 150 億條視頻播放數(shù)據(jù)。他強(qiáng)調(diào)，多模態(tài)技術(shù)有兩大應(yīng)用，一是會(huì)改變?nèi)藱C(jī)交互方式，二是使得信息分發(fā)更加高效。但現(xiàn)在研究這樣的問(wèn)題還非常難，存在三大挑戰(zhàn)，一是語(yǔ)義鴻溝，二是異構(gòu)鴻溝（數(shù)據(jù)種類比較多），三是數(shù)據(jù)缺失（多模態(tài)數(shù)據(jù)非常難以構(gòu)建）。

他表示，快手也在一直努力，希望大家能更好地記錄，讓每個(gè)人成為自己生活的導(dǎo)演，希望記錄的過(guò)程能便捷、個(gè)性化、有趣、普惠。他如下幾個(gè)例子：

• 自動(dòng)字幕與智能配音?？梢酝ㄟ^(guò)語(yǔ)音合成技術(shù)更好地滿足記錄需求，這會(huì)使記錄更加便捷和有趣。隨后他也詳述了語(yǔ)音識(shí)別和合成技術(shù)，也提到目前用得比較多的深度學(xué)習(xí)技術(shù)。

• 音樂(lè)自動(dòng)生成技術(shù)。視頻配樂(lè)相對(duì)來(lái)說(shuō)還比較難。在視頻音樂(lè)生成上涉及到非常多的技術(shù)，也有一些領(lǐng)域知識(shí)，如歌曲結(jié)構(gòu)、歌曲速度、音樂(lè)基礎(chǔ)要素，這可能需要研究音樂(lè)和計(jì)算機(jī)視覺(jué)的人互相配合。

• Animoji。大家可以通過(guò)快手直接在安卓手機(jī)上體驗(yàn)，降低了用戶的體驗(yàn)成本。目前他們的技術(shù)可以敏銳地捕捉到面部表情變化，拉低了硬件門檻。

最后他總結(jié)到，未來(lái)會(huì)有兩個(gè)非常重要的方向：多模態(tài)特征對(duì)齊和多模態(tài)特征表示。他表達(dá)了如下三點(diǎn)展望：一是多模態(tài)會(huì)帶來(lái)新的人機(jī)交互方式，二是多模態(tài)會(huì)帶來(lái)新的內(nèi)容形式，三是多模態(tài)急需新的算法和大型數(shù)據(jù)集。

最后一位演講嘉賓是北航計(jì)算機(jī)學(xué)院長(zhǎng)江學(xué)者特聘教授李波，他的演講主題為《面向公共安全的天空地網(wǎng)大數(shù)據(jù)一體化處理》。

北航計(jì)算機(jī)學(xué)院長(zhǎng)江學(xué)者特聘教授李波

網(wǎng)絡(luò)世界中新型犯罪活動(dòng)層出不窮，比如電信或網(wǎng)絡(luò)詐騙、跨境網(wǎng)絡(luò)攻擊等。外國(guó)軍機(jī)非法侵入我國(guó)海域，僅利用航天成像無(wú)法獲取目標(biāo)的全面畫像，可以將天空地網(wǎng)協(xié)同應(yīng)用，利用互聯(lián)網(wǎng)得到目標(biāo)的更完整信息。

李波教授提到利用天空網(wǎng)信息結(jié)合挖掘目標(biāo)完整畫像的案例，也談到遙感圖像與社交媒體融合以及美國(guó)在公共安全領(lǐng)域的研究與應(yīng)用。

隨后，他提出了幾項(xiàng)關(guān)鍵科技問(wèn)題：

天空地立體感知問(wèn)題：空間尺度差異大，時(shí)效性差異大，視角差異大，分辨率差異大。

網(wǎng)絡(luò)內(nèi)容分析問(wèn)題：網(wǎng)絡(luò)形式多樣、使用獨(dú)立；網(wǎng)絡(luò)內(nèi)容繁雜；用戶行為復(fù)雜，全貌模糊；行為軌跡碎片化。

天空地網(wǎng)數(shù)據(jù)綜合應(yīng)用問(wèn)題：圖像視頻結(jié)構(gòu)化描述簡(jiǎn)單；案件涉及多維度的關(guān)聯(lián)分析，如時(shí)空關(guān)聯(lián)、因果關(guān)聯(lián)等。

解決思路如下：

• 基于時(shí)空關(guān)聯(lián)的目標(biāo)與事件檢測(cè)

在地面上，可以利用時(shí)空結(jié)合的場(chǎng)景語(yǔ)義分割；還可以通過(guò)天空地相互引導(dǎo)，實(shí)現(xiàn)立體感知。

• 面向?qū)嶓w的跨網(wǎng)內(nèi)容關(guān)聯(lián)

這里涉及到基于關(guān)鍵要素的敏感內(nèi)容檢測(cè)。在檢測(cè)的基礎(chǔ)上，可以進(jìn)一步基于相似語(yǔ)義和時(shí)空關(guān)聯(lián)的知識(shí)學(xué)習(xí)進(jìn)行知識(shí)抽取，隨后基于概念屬性的跨網(wǎng)身份關(guān)聯(lián)，實(shí)現(xiàn)跨網(wǎng)知識(shí)融合。

• 虛實(shí)融合的一體化事件分析

實(shí)是指物理世界，虛是指網(wǎng)絡(luò)世界?？梢陨蓪?shí)體-動(dòng)作元事件模型，結(jié)合警務(wù)知識(shí)指導(dǎo)的事件分析，進(jìn)行公共安全事件研判。

李波教授的演講結(jié)束之后迎來(lái)精彩的圓桌討論環(huán)節(jié)，快手多媒體內(nèi)容理解部負(fù)責(zé)人李巖、北航計(jì)算機(jī)學(xué)院長(zhǎng)江學(xué)者特聘教授李波、字節(jié)跳動(dòng)人工智能實(shí)驗(yàn)室總監(jiān)王長(zhǎng)虎、國(guó)家互聯(lián)網(wǎng)應(yīng)急中心張冬明紛紛上臺(tái)，展開(kāi)了更多對(duì)高通量媒體內(nèi)容理解的探討，現(xiàn)場(chǎng)觀眾也發(fā)表踴躍提問(wèn)。隨后，李波教授對(duì)今天的論壇做出總結(jié)，對(duì)在場(chǎng)觀眾表達(dá)了感謝。精彩的論壇就此結(jié)束，但對(duì)多媒體內(nèi)容的探討還在繼續(xù)。

圖：洪日昌、李巖、李波、王長(zhǎng)虎、張冬明（從左至右）

雷鋒網(wǎng) AI 科技評(píng)論后續(xù)也將帶來(lái)關(guān)于 CNCC 的一系列新聞，敬請(qǐng)關(guān)注。雷鋒網(wǎng)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。