0
昨晚做了一個夢，夢里的我變成漫畫里的人物，正在為參與選秀苦練舞蹈，期待著萬眾矚目登上舞臺的一天。
然而一覺醒來，這個美夢竟然成“真”了！
大眼睛，飽滿蘋果肌，擺著離出道還有億點點距離的律動~妥妥的漫畫女主角既視感。
沒錯，這項黑科技就是手機QQ相機里的熱門AI玩法——漫畫臉。從畫面來看，哪怕受拍攝人物大幅度動作，融合感依舊滿分。
類似的，一經(jīng)上線便備受用戶們追捧的還有“童話臉”等多個AI特效玩法。
AI特效看似操作簡單，但要想一秒內達到如此效果，其背后的技術支撐可并不簡單。
細心的朋友可能會發(fā)現(xiàn)，漫畫臉的AI特效get了一項技能——實時摳圖。在動態(tài)場景下， 無論是人像的頭部、面部，還是半身像，都能夠被精準識別，并轉化為漫畫版，看不出一點破綻。
這項技能在學術上叫做語義分割技術。而這些特效背后使用的語義分割技術叫做GYSeg，它是騰訊光影研究室（Tencent GYLab）在計算機視覺領域的自研算法。最近GYSeg算法剛剛參加完MIT Scene Parsing Benchmark 場景解析國際競賽，從多個參賽團隊中脫穎而出，以0.6140的成績斬獲了冠軍。值得一提的是，近兩周團隊持續(xù)優(yōu)化算法，并再次刷線最新成績至0.6235，仍處榜單第一名。
專業(yè)科普一下，MIT Scene Parsing Benchmark 是全球公認的最具挑戰(zhàn)性、權威性的場景解析、語義分割評測集。其發(fā)布的ADE20K數(shù)據(jù)集是計算機視覺三大頂會（CVPR、ICCV和ECCV）語義分割論文的權威基準數(shù)據(jù)集。
每年有眾多國際頂尖企業(yè)、學術機構參加這項國際賽事，比如本屆參賽的團隊還有商湯科技、亞馬遜、復旦、北大、MIT等國內外研究機構和高校。
簡單理解，語義分割技術就是讓計算機能夠識別出圖像場景中每一個像素所代表的語義類別。
以人像圖像為例，人像的全身、半身、頭部、頭發(fā)、多人/單人以及多樣化的背景都是其需要識別的目標。
而從更大范圍來講，現(xiàn)實生活場景十分豐富、目標復雜、尺度范圍大，如本次比賽所使用的ADE20K數(shù)據(jù)集包含了150個類別，涉及人類生活各個方面的場景。 這對于AI語義識別本身提出了較高的挑戰(zhàn)。
更重要的是，同種類的物體在不同場景中很可能表現(xiàn)出不同的大小、比例和姿態(tài)；不同物體之間可能存在相互遮擋問題，由此會帶來嚴重的語義混淆。
為了克服以上難點，GYSeg算法在數(shù)據(jù)增強、網(wǎng)絡設計、訓練、推斷方面進行了一系列創(chuàng)新，并建立了一套通用的整體分割架構。
在網(wǎng)絡設計方面，GYSeg算法采用自研的GYNet作為backbone，并接入ASPP模塊進行特征的增強與融合，獲得了更多的Context以及感受野，同時，整體結構達到了很好的速度跟精度的平衡。
在分割head方面，為提高不同尺度物體和小物體的分割精度，采用基于Multi-scale Attention的方式使網(wǎng)絡在不同尺度上自適應的學習。
在推斷階段，GYSeg算法采用了多種不同尺度級聯(lián)式推斷融合。在此基礎上，使用ADE訓練集數(shù)據(jù)搭建SegFix網(wǎng)絡，對Multi-scale Attention的輸出結果進行精修，以提升邊緣分割的一致性。同時，在訓練過程，加入OHEM提升困難樣本學習能力，在多物體分割中采用gradient loss對物體邊緣進行約束來提升邊緣的準確性。
在數(shù)據(jù)增強方面，除了針對復雜場景使用隨機縮放、crop、對比度、blur等常規(guī)操作外，對于語義明確、數(shù)量較少的類別，GYSeg算法還采用了“復制-粘貼”的方式進行擴充。如動物、摩托車、自行車等。
在loss約束方面，借助OHEM進行在線困難樣本挖掘，GYSeg算法在validation集上Miou提升0.4%，優(yōu)于focalloss(提升0.26%)。
如上述案例所見，在人像分割方面，GYSeg算法憑借對人像半身、全身，室內、室外，單人/多人等多復雜場景的需求的不斷的打磨和優(yōu)化，成功應用到了騰訊QQ、騰訊微視等多個產(chǎn)品中。其結合發(fā)布器技術中臺強大的圖形圖像渲染引擎，通過為前景人像和背景添加不同的濾鏡特效或更酷的背景效果，實現(xiàn) “七夕卡通畫“、“怪獸護體”等各種特效玩法。
當然，GYSeg自研算法只是騰訊光影研究室AI能力的局部體現(xiàn)。
伴隨新技術的不斷發(fā)展和進步，AI在泛娛樂領域的應用場景變得更加豐富。在此基礎上，光影研究室圍繞計算機視覺技術展開了全棧式布局。
從技術能力上來講，目前主要分為兩大方面：應用AI能力和基礎AI能力。
值得一提的是，依托騰訊龐大和豐富的內容產(chǎn)業(yè)，以上幾乎所有AI能力都在移動端找到了落地場景，并成功覆蓋到了手機QQ相機、手機QQ音視頻通話、騰訊微視等20多條業(yè)務線中，為用戶帶來了全新的數(shù)字化娛樂體驗。
1、應用AI能力
應用AI能力隸屬于"基礎美"的范疇，其主要目的是實現(xiàn)人像照片的系列美化功能，包含人臉的各種美顏/美妝/捏臉，不同場景的濾鏡，以及底層的拍攝質量提升等。
具體表現(xiàn)為GAN的生成， 3D的重建，以及AR/交互AI等技術。
很多朋友應該知道，前段時間火爆全網(wǎng)的“童話臉”特效，不僅有李雪琴親傳童話世界基本生存須知“公主病”，更是受到辣目洋子、劉曉慶、王大陸等眾多明星青睞。
童話臉特效背后依靠的便是GAN技術，它是騰訊光影研究室首次將GAN與3D卡通風格相結合的應用嘗試，同時也是業(yè)內的第一次嘗試。
據(jù)了解，從算法研究到上線首發(fā)，研究團隊僅用了兩周的時間，并成功克服了用戶ID生成，StyleGAN穩(wěn)定性，移動端實時化三大落地挑戰(zhàn)。而且，基于自研的GYNet，其在移動端的網(wǎng)絡計算量降低了200倍。目前這項AI能力仍在持續(xù)積累和迭代中。
在3D重建方面，光影研究室推出了3D捏臉能力，它可以根據(jù)用戶給定的照片自動化捏出一個3D的人臉效果。從臉部的shape，五官的細節(jié)，到頭發(fā)的效果，在最大限度保留用戶ID的基礎上，提供了最佳體驗效果。
同時，在硬件適配方面，研究室團隊針對低端機多了大量優(yōu)化工作，包括底層使用TNN Inference框架，模型結構的小型化，模型的量化、裁剪，工程Pipeline的設計等。最終按照機型進行分發(fā)，保證了效果與速度的trade-off在高中低檔機型的全面覆蓋。
2、基礎AI能力
這方面主要涉及檢測&關鍵點、分割、分類三大類。上述語義分割算法GYSeg的研發(fā)屬于這一范疇。值得一提的是，關于分割技術，光影研究室團隊發(fā)表的論文《Context Prior for Scene Segmentation》，還登上了計算機視覺頂會CVPR2020。
在落地方面，除了泛娛樂場景外，以上前沿技術在圖像處理、自動駕駛，自動醫(yī)療診斷等領域也有著極大地應用價值。比如語義分割算法GYSeg，在自動駕駛領域可用于區(qū)分路面陰影和真正的障礙物，以減少汽車誤判率等。
據(jù)光影研究室介紹，團隊定位為PCG的發(fā)布器技術中臺，也承接了移動端的拍攝/相機/玩法類的AI能力，旨在通過前沿的AI能力、先進的玩法引擎和3D渲染技術，為騰訊的社交、短視頻等產(chǎn)品用戶提供服務?？傮w而言，業(yè)務方向更偏向To C端，更注重提升用戶的娛樂體驗。
透過光影研究室的技術布局和應用落地，可見其身上有兩個顯著的標簽，一是聚焦“泛娛樂化場景”，二是“移動端部署”，后者從目前的落地成果來看，在行業(yè)內已具備核心競爭力。在整個騰訊AI產(chǎn)業(yè)布局中，這兩個標簽，也是騰訊光影研究室區(qū)別于騰訊優(yōu)圖、騰訊AI Lab最顯著的差異化特征。
作為專注于研究前沿影像處理技術的團隊，騰訊光影研究室曾孕育出“全民武媚娘”、“小學生證件照”、“軍裝照”等現(xiàn)象級刷屏玩法；在探索泛娛樂綜合解決方案上，其愿景是讓拍攝特效更豐富，讓創(chuàng)作編輯更便捷，讓光影內容更有趣。
據(jù)研究室負責人介紹，這支團隊是一個從算法研究到工程落地自閉環(huán)的技術團隊，具備CV，AR，3D引擎，特效玩法引擎，配套特效制作工具等完整的研發(fā)組織，強大的工程能力，這些都為光影CV算法的研究提供了有力支撐。
談及未來的研發(fā)方向，光影研究室團隊表示，未來在算法側將會重點投入交互AI & 3D重建兩方向，為騰訊社交內容生態(tài)提供持續(xù)不斷的創(chuàng)新驅動力。 在工程側將會繼續(xù)打磨、優(yōu)化特效玩法，包括引擎的功能和性能，更靈活的特效玩法，同時持續(xù)優(yōu)化素材創(chuàng)意制作工具，為業(yè)務的創(chuàng)意玩法生產(chǎn)發(fā)布進行提效。
最后關于AI特效，你有什么創(chuàng)意玩法？可評論區(qū)在線提需求[手動狗頭]
雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉載。詳情見轉載須知。
