雷鋒網(wǎng) AI 科技評論按：今年 7 月，2019 騰訊廣告算法大賽「終極之戰(zhàn)」在深圳騰訊濱海大廈順利舉行。本次總決賽現(xiàn)場，騰訊廣告高級應(yīng)用研究員石瑞超為大家?guī)砹祟}為《廣告場景下的 AI 視覺算法應(yīng)用》的演講。視覺算法應(yīng)用于廣告創(chuàng)意的三個階段包括廣告創(chuàng)建、廣告審核及廣告播放。研究員石瑞超為我們展示了 AI 視覺算法在解決廣告落地中痛難點的優(yōu)勢與應(yīng)用方法。以下是他的分享內(nèi)容，雷鋒網(wǎng) AI 科技評論做了不改變原意的整理與編輯。

騰訊廣告高級應(yīng)用研究員石瑞超

廣告創(chuàng)建，輔助創(chuàng)意輸出

廣告創(chuàng)建分為圖片創(chuàng)建和視頻廣告創(chuàng)建。石瑞超提到圖片創(chuàng)意生成過程面臨的兩個效果問題：商品摳圖的邊緣化處理和模板的更新擴充；此外他還介紹了視覺算法的解決方案。

廣告創(chuàng)意視覺算法應(yīng)用

針對商品摳圖，這里選擇了邊緣處理效果較好的GCN算法進行優(yōu)化，并對邊緣做加權(quán)l(xiāng)oss，提升邊緣平滑性，修改產(chǎn)品圖，進而提升視覺體驗。

然后在獲得良好摳圖效果的基礎(chǔ)上，再運用AI生成豐富的模板素材。而這一過程以產(chǎn)品主色調(diào)的提取為核心，基礎(chǔ)思路為：檢索并修改背景，做深度美感過濾模型提升產(chǎn)品視覺效果，繼而通過修改配色獲得多重類型模板，達到拓寬模板素材庫的效果。

其中，配色修改通過預(yù)估每個像素的主色調(diào)獲得配色后的最終效果，是模板生成的關(guān)鍵。在這一實踐中，算法首先采用了業(yè)界常用的 Conv-Deconv+L2 Loss，并根據(jù)實際情況改進網(wǎng)絡(luò)結(jié)構(gòu)和損失函數(shù)；在經(jīng)過重渲染控制像素值顏色的一致性，最終實際可用率可達到91%，獲得良好效果。

之后，石瑞超以電商廣告為切入點，向大家介紹視覺算法全自動智能生成視頻創(chuàng)意的過程。

隨著近年來各平臺視頻量快速增長，視頻創(chuàng)意生成面臨視頻廣告庫存不足的現(xiàn)狀。如何快速生成視頻廣告成為視頻創(chuàng)意的主要命題。要解決這一問題，首先我們需要抓取商品基礎(chǔ)信息，并基于行業(yè)模板庫生成對應(yīng)故事板（囊括圖片、文案、配樂等要素），故事板經(jīng)過渲染生成視頻，同時應(yīng)用算法獲得封面圖，最終上線一條完整的視頻廣告。

廣告審核，質(zhì)量把控

廣告創(chuàng)意生成后，便進入廣告審核階段。隨著廣告體量的不斷增長、審核規(guī)則越發(fā)繁多和復(fù)雜，依靠傳統(tǒng)的人工審核已經(jīng)無法滿足當前需求。

首先，審核人員需要快速且準確地對所有違規(guī)點進行識別；其次，針對同樣的違規(guī)問題，審核人員需要給予廣告主一致的反饋意見。為解決這一問題，這里引入了智能審核項目，通過算法能力，在人工審核環(huán)節(jié)之前對廣告創(chuàng)意進行各種檢測，從而輔助人工高質(zhì)量地完成審核。

演講中，石瑞超以明星人臉抄襲和游戲抄襲為例介紹了他們在智能審核上面的一些實踐?；邶嫶髷?shù)據(jù)庫，他們采用 Asoftmax Loss 算法抓取特征，進行明星人臉抄襲的識別工作。運用識別圖像關(guān)鍵區(qū)域的算法，通過關(guān)鍵區(qū)域與待識別素材的匹配程度判斷抄襲審核結(jié)果。

明星人臉抄襲識別方法

然而，智能審核項目的能力提升也面臨著成本高昂和效率提升瓶頸的難題。因此，這里引用 AutoML 引擎為研究方向，借助 AutoML 引擎的調(diào)優(yōu)規(guī)則和搜索策略，提升智能審核效率。

AutoML 引擎

廣告播放，體驗優(yōu)化

廣告播放的關(guān)鍵問題主要聚焦于兩個方面，一個是如何提升點擊率和轉(zhuǎn)化率；另一個是如何提升視覺體驗。石瑞超主要介紹了雙塔模型：抓取人群歷史的素材點擊特征向量，以廣告的基礎(chǔ)特征和用戶群體特征為維度搭建雙塔模型，高效預(yù)估點擊率，提升廣告投放的預(yù)估效果?！拔覀冏隽诉@種嘗試，會發(fā)現(xiàn)AUC有比較明顯的提升，大概是2%，線上效果的消耗能達到3%—4%左右。”

在向目標人群推薦廣告的過程中，如果僅以點擊率和轉(zhuǎn)化率為推薦邏輯，用戶很容易看到相似素材。針對這一問題，這里使用預(yù)訓練好的 CNN 模型，提取卷積層特征，進行降維，得到無監(jiān)督的 152 位向量。同時加入相似廣告素材的訓練數(shù)據(jù)進行 finetune，提升廣告數(shù)據(jù)的擬合度，使召回率獲得明顯提升，從而一定程度避免重復(fù)廣告素材的出現(xiàn)，優(yōu)化用戶的視覺體驗。

相似素材過濾步驟

雷鋒網(wǎng) AI 科技評論

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。