雷鋒網(wǎng)按：本文內(nèi)容來自涂圖 CTO 邱彥林在硬創(chuàng)公開課的分享，在未改變?cè)獾幕A(chǔ)上進(jìn)行了編輯整理。

幾年前圖片美顏教育了市場(chǎng)，到了直播時(shí)代，美顏同樣成為直播平臺(tái)的標(biāo)配。女主播要是在直播中不能自動(dòng)美顏，那只能靠更精致的妝容來補(bǔ)，而實(shí)時(shí)直播美顏技術(shù)恰好解決了這個(gè)問題。

目前最新的美顏技術(shù)已經(jīng)發(fā)展到了 2.0 階段，打個(gè)比方，如果美顏 1.0 只是化妝（磨皮、祛痘、膚色調(diào)整）的話，美顏 2.0 基本就能達(dá)到整容的效果——把眼睛變大，把圓臉變成瓜子臉。而實(shí)現(xiàn)這一效果的基礎(chǔ)就是人臉識(shí)別。

硬創(chuàng)公開課特邀專攻直播美顏的涂圖 CTO 邱彥林為大家講述 《解密 AI 在直播美顏中起到哪些你看不到的作用》。

邱彥林：涂圖 CTO，專注于圖像技術(shù)，以及機(jī)器學(xué)習(xí)在圖像處理中的實(shí)際應(yīng)用。國(guó)內(nèi)最早一批 Flash 開發(fā)人員，曾出版 2 本 Flash 中文技術(shù)書籍，擅長(zhǎng)程序架構(gòu)設(shè)計(jì)。

美顏中最常見的祛痘、磨皮技術(shù)原理是什么樣的？ 

從圖像處理的角度看，什么是“痘”和“斑”？

 一張圖像可以看作是一個(gè)二維的數(shù)據(jù)集合，其中每個(gè)元素都是一個(gè)像素點(diǎn)。如果將這些數(shù)據(jù)用幾何的方式來呈現(xiàn)出來，“痘”就是和周圍點(diǎn)差異較大的點(diǎn)。在圖像處理領(lǐng)域，這個(gè)差異是通過灰度值來衡量的灰度，也叫“亮度”?；叶葓D，也就是黑白圖。將彩色圖轉(zhuǎn)換為灰度圖，圖像的關(guān)鍵特征不會(huì)丟失。

事實(shí)上，人的眼睛在觀察物體時(shí)，首先注意的是物體的邊緣。而在一張圖像里面，邊緣，即與周邊灰度差異較大的點(diǎn)。類似的，“痘”也是與周邊點(diǎn)的灰度差異較大的點(diǎn)。相比色彩，人的眼睛對(duì)灰度更敏感。這也是為什么對(duì)視頻進(jìn)行壓縮的時(shí)候，會(huì)偏向于丟棄色彩部分的數(shù)據(jù)，而盡量保留亮度數(shù)據(jù)。

磨皮祛痘，就是要平滑點(diǎn)與點(diǎn)之間的灰度差異，同時(shí)還要保持皮膚原有的一些細(xì)節(jié)。所以，美顏一般選擇邊界保持類平滑濾波算法。

直播美顏（動(dòng)態(tài)）和圖片美顏（靜態(tài)）的區(qū)別在哪里？動(dòng)態(tài)美顏要解決哪些技術(shù)難題？

最重要的區(qū)別在于：直播美顏要求實(shí)時(shí)處理，而靜態(tài)的圖像處理對(duì)實(shí)時(shí)性沒有要求，比如最近比較火的 Prisma，大家會(huì)發(fā)現(xiàn)處理一張圖像的速度可能需要 1～2 分鐘，甚至更長(zhǎng)。

直播的實(shí)時(shí)性，最直接的體現(xiàn)就是在很短的時(shí)間內(nèi)，完成一系列任務(wù)。所以直播中的美顏，對(duì)性能有很高的要求，無法使用特別復(fù)雜的算法。我們只能在算法和美顏效果之間找個(gè)平衡點(diǎn)。  

在圖片處理應(yīng)用中，沒有實(shí)時(shí)性的要求，所以對(duì)算法沒有什么限制。只要能實(shí)現(xiàn)好的效果，再復(fù)雜的算法也可以用。

在第一個(gè)問題中，我提到了邊界保持類平滑濾波算法。這類算法有很多種，但在直播中一般均選擇雙邊濾波算法。這個(gè)算法性能高，效果也比較好，非常適合直播場(chǎng)景。除了磨皮算法外，調(diào)整皮膚膚色也是美顏的一個(gè)關(guān)鍵環(huán)節(jié)。關(guān)于調(diào)整膚色：一方面實(shí)現(xiàn)美白、紅潤(rùn)的效果；另一方面則通過控制膚色，可以弱化“痘”和“斑”等，因?yàn)槟テに惴ㄖ荒茉谝欢ǔ潭壬舷朦c(diǎn)。調(diào)整膚色個(gè)環(huán)節(jié)，還能夠讓設(shè)計(jì)人員參與進(jìn)來，來設(shè)計(jì)出更符合我們審美觀的效果來。

如何解決美顏后畫面像素變差的問題，可通過什什么辦法在保證美顏效果和畫質(zhì)之間的平衡？ 

從技術(shù)上講，美顏和畫質(zhì)沒有關(guān)系。直播的畫質(zhì)由主播端的輸出碼率決定，碼率越高，畫質(zhì)越好，反之越差。 一般來說，在直播應(yīng)用中，主播端輸出的碼率是固定的，或者說限制在一定范圍內(nèi)。如果網(wǎng)絡(luò)情況好，輸出的碼率高，反之則低。目前主流的直播平臺(tái)都采用 RTMP 協(xié)議，采用其它技術(shù)比如 webRTC。此外直播畫質(zhì)和直播平臺(tái)的穩(wěn)定性也有一定關(guān)系。

如何實(shí)現(xiàn)直播時(shí)添加臉部貼圖，甚至實(shí)時(shí)整容：如把眼睛變大，把圓臉變成瓜子臉？

這類效果的核心是人臉識(shí)別技術(shù)。在直播時(shí)，從相機(jī)采集到每一幀的畫面，然后進(jìn)行人臉識(shí)別，再標(biāo)示出關(guān)鍵點(diǎn)的位置，結(jié)合圖像技術(shù)得到最終的效果。

我先深入講下人臉識(shí)別，目前在人臉識(shí)別領(lǐng)域可分為機(jī)器學(xué)習(xí)與深度學(xué)習(xí)兩類方案。

機(jī)器學(xué)習(xí)方案：

機(jī)器學(xué)習(xí)識(shí)別物體是基于像素特征的我們會(huì)搜集大量的圖像素材，再選擇一個(gè)算法，使用這個(gè)算法來解析數(shù)據(jù)、從中學(xué)習(xí)，然后對(duì)真實(shí)世界中的事件做出決策和預(yù)測(cè)。

深度學(xué)習(xí)方案：

深度學(xué)習(xí)與機(jī)器學(xué)習(xí)不同的是，它模擬我們?nèi)祟愖约喝プR(shí)別人臉的思路。比如，神經(jīng)學(xué)家發(fā)現(xiàn)了我們?nèi)祟愒谡J(rèn)識(shí)一個(gè)東西、觀察一個(gè)東西的時(shí)候，邊緣檢測(cè)類的神經(jīng)元先反應(yīng)比較大，也就是說我們看物體的時(shí)候永遠(yuǎn)都是先觀察到邊緣。就這樣，經(jīng)過科學(xué)家大量的觀察與實(shí)驗(yàn)，總結(jié)出人眼識(shí)別的核心模式是基于特殊層級(jí)的抓取，從一個(gè)簡(jiǎn)單的層級(jí)到一個(gè)復(fù)雜的層級(jí)，這個(gè)層級(jí)的轉(zhuǎn)變是有一個(gè)抽象迭代的過程的。

深度學(xué)習(xí)就模擬了我們?nèi)祟惾ビ^測(cè)物體這樣一種方式，首先拿到海量數(shù)據(jù)，拿到以后才有海量樣本做訓(xùn)練，抓取到核心的特征建立一個(gè)網(wǎng)絡(luò)。因?yàn)樯疃葘W(xué)習(xí)就是建立一個(gè)多層的神經(jīng)網(wǎng)絡(luò)。有些簡(jiǎn)單的算法可能只有四五層，但是有些復(fù)雜的，谷歌里面有一百多層，不同的層負(fù)責(zé)不同的處理方式，如磁化層等等。

當(dāng)然這其中每一層有時(shí)候會(huì)去做一些數(shù)學(xué)計(jì)算，有的層會(huì)做圖象預(yù)算，一般隨著層級(jí)往下，特征會(huì)越來越抽象。比如我們?nèi)苏J(rèn)識(shí)一個(gè)東西，我們可能先把桌子的幾個(gè)邊緣抓過來，結(jié)果每個(gè)邊緣和輪廓組成的可能性都很多。基于輪廓的組成，我們可把這個(gè)桌子抽象成幾層，可能第一層是這里有個(gè)什么線，然后逐漸往下抽象程度會(huì)由點(diǎn)到線到面，或者到更多的面等等這樣的過程。這是一個(gè)抽象的過程。

機(jī)器學(xué)習(xí)方案和深度學(xué)習(xí)方案的區(qū)別：

而這兩種“學(xué)習(xí)”的區(qū)別，舉個(gè)例子來說：比如要識(shí)別具體環(huán)境中的人臉，如果遇到云霧，或者被樹遮擋一部分，人臉就變得殘缺與模糊，那基于像素的像素特征的機(jī)器學(xué)習(xí)就無法辨認(rèn)了。它太僵化，太容易受環(huán)境條件的干擾。

而深度學(xué)習(xí)則將所有元素都打碎，然后用神經(jīng)元進(jìn)行“檢查”：人臉的五官特征、人臉的典型尺寸等等。最后，神經(jīng)網(wǎng)絡(luò)會(huì)根據(jù)各種因素以及各種元素的權(quán)重，給出一個(gè)經(jīng)過深思熟慮的猜測(cè)，即這個(gè)圖像有多大可能是張人臉。

移動(dòng)平臺(tái)上用深度學(xué)習(xí)替換機(jī)器學(xué)習(xí)算法：

具體到應(yīng)用層面，在移動(dòng)設(shè)備上，采用機(jī)器學(xué)習(xí)進(jìn)行人臉識(shí)別，是目前的主流做法。將深度學(xué)習(xí)遷移到移動(dòng)設(shè)備上，這算是時(shí)下的研究熱點(diǎn)。深度學(xué)習(xí)的效果很好，但是前提是建立在大量的計(jì)算基礎(chǔ)上。雖然現(xiàn)在的手機(jī)硬件性能已經(jīng)很好，但如果要運(yùn)行深度學(xué)習(xí)的模型，手機(jī)的電量會(huì)是個(gè)問題。

據(jù)我了解，目前已經(jīng)有一些公司已經(jīng)成功在手機(jī)上實(shí)現(xiàn)了低能耗的深度學(xué)習(xí)算法。目前我們也在做相關(guān)研究，在移動(dòng)平臺(tái)上用深度學(xué)習(xí)替換機(jī)器學(xué)習(xí)算法。

再回到直播中的給人臉實(shí)時(shí)貼圖或者“整容”，實(shí)現(xiàn)這一效果主要應(yīng)用我上面提到的人臉識(shí)別技術(shù)，檢測(cè)并識(shí)別出人臉的關(guān)鍵點(diǎn)再進(jìn)行圖像處理即可。

改變眼睛和臉型涉及到美丑的問題，如何讓計(jì)算機(jī)懂得“審美”？ 

改變眼睛與臉型這類美顏，因?yàn)橐婕暗饺四樧R(shí)別的問題，就像我剛才說的原理，非常復(fù)雜，對(duì)計(jì)算量的要求也非常大。

目前這類美顏一般都是基于機(jī)器學(xué)習(xí)的，參數(shù)在編寫程序時(shí)已經(jīng)確定好，并沒有計(jì)算機(jī)“自己”調(diào)整的過程。所以，目前的美顏的“美”，都是我們?nèi)藶榈膩砜刂啤?/strong>當(dāng)然，這個(gè)人為也不是說程序員自己可以隨便編，而是要與美工人員共同參與來完成的。

舉例來說：在一些比較專業(yè)的圖象處理論壇里面，有設(shè)計(jì)師會(huì)發(fā)一些經(jīng)過處理的美女圖片來。一般是發(fā)張?jiān)瓐D，發(fā)張經(jīng)過處理之后出來一個(gè)效果圖，原圖跟效果圖之間有個(gè)差異，我們可以通過技術(shù)手段得到這個(gè)差異。然后把這個(gè)差異應(yīng)用在我們做美膚里面去，這就是調(diào)整膚色的做法。

圖片跟圖片之間可以通過一些手法去模擬到這個(gè)效果，這中間的過程都是可以計(jì)算出來的。然后在濾鏡、PS，或者是圖象處理里的一項(xiàng)技術(shù)，去控制一張圖片的顏色表現(xiàn)。通過把技術(shù)人員跟美工人員結(jié)合起來，技術(shù)只管技術(shù)，美工只管美工，這樣就能夠開發(fā)與設(shè)計(jì)結(jié)合起來，實(shí)現(xiàn)所謂的“美”。

所以你看很多平臺(tái)算法都大同小異，但是為什么最終出來的美顏效果讓人感覺還是有差異，其實(shí)就是說里面有很多細(xì)節(jié)在，需要花時(shí)間優(yōu)化，特別是用戶的需求是什么，怎樣更漂亮。

未來深度學(xué)習(xí)的技術(shù)更為成熟時(shí)，電腦也許就可以憑借海量的數(shù)據(jù)來總結(jié)出美來，進(jìn)而按這種總結(jié)出的“審美”來處理圖像。但話說回來，“美”終究還是一種很主觀的事，就像之前有人通過大量美女圖片合成過各個(gè)國(guó)家標(biāo)準(zhǔn)的美女臉來，還是很多人覺得不好看，就是這個(gè)原因。

直播美顏目前面臨最大的技術(shù)難題是什么？

暫時(shí)沒有很大的技術(shù)難題，Android 設(shè)備適配可以算一個(gè)。由于 Android 設(shè)備和系統(tǒng)類型較多，導(dǎo)致在 Android 平臺(tái)上，直播美顏很難做到兼容所有設(shè)備。Android 直播，從技術(shù)上分為硬編和軟編兩種方案。

硬編：即采用硬件加速，通過 GPU 進(jìn)行視頻編碼。特性是省電、性能好，是目前最佳的方案。但無法支持個(gè)別機(jī)型。Android 4.3  + 以上的系統(tǒng)才支持這個(gè)方案。（這其實(shí)不是問題了，現(xiàn)在主流的設(shè)備都是 Android 5.0 以上）；另一方面，一些廠商在硬件層和軟件層做適配時(shí)，缺乏相關(guān)支持。

軟編：通過 CPU 進(jìn)行視頻編碼，比較耗電、性能差，但能兼容絕大部分設(shè)備。主流的直播平臺(tái)一般是根據(jù)進(jìn)行來自動(dòng)適配，保證最佳效果。

群友問答環(huán)節(jié)

美顏技術(shù)如何嵌入在硬件中，如美圖手機(jī)和卡西歐自拍神器？

美圖手機(jī)使用的是 Android 系統(tǒng)，在軟件層面，和一般的應(yīng)用開發(fā)應(yīng)該是相似的：也就是開發(fā)一款拍照應(yīng)用，通過調(diào)用系統(tǒng) API 訪問相機(jī)，采集到畫面，然后通過美顏處理。

在 Android 平臺(tái)一般使用 OpenGL ES 進(jìn)行圖像處理。在 OpenGL ES 中編寫算法，實(shí)現(xiàn)效果，最后將處理的結(jié)果傳輸給 CPU，然后生成最終的照片。

至于卡西歐自拍神器，據(jù)我所知這個(gè)應(yīng)該使用的是廠商自己的系統(tǒng)。我分析整個(gè)運(yùn)行流程和 Android 系統(tǒng)相似。它的效果比較好，除了算法之外，在硬件上應(yīng)該也有自己獨(dú)特的處理元件。

動(dòng)態(tài)美顏怎么保證在時(shí)序下不同角度的同一人物的美顏效果相同？

這個(gè)沒法保證。不過，不同角度、不同光照使得人物看起來本來就是不同的效果。

運(yùn)動(dòng)物體檢測(cè) + 跟蹤，然后把人臉部分單獨(dú)提取出來做美化，這樣做對(duì)于性能的要求是提高了還是會(huì)降低？

一般都沒有把人臉單獨(dú)提取出來做美化，美化是通過膚色檢測(cè)來確定美顏范圍的。運(yùn)動(dòng)物體檢測(cè) + 跟蹤，指的是人臉檢測(cè)嗎？如果是，對(duì)性能的要求肯定是提高了。如果要追蹤的比較緊，需要每幀都做檢測(cè)，性能要求肯定是非常高，以毫秒計(jì)。

雙邊濾波的多數(shù)實(shí)現(xiàn)似乎也無法達(dá)到實(shí)時(shí)性的需求，請(qǐng)問這里有什么 trick 嗎？

主要是性能優(yōu)化吧，比如一般圖像卷積處理，是選周圍 8 個(gè)點(diǎn)，可以減少為 4個(gè)。OpenGL ES 腳本按順序執(zhí)行，我們需要逐點(diǎn)處理，減少處理的點(diǎn)，這樣速度會(huì)提上去。GPUImage 開源庫里有可參考的代碼。

深度學(xué)習(xí)類算法應(yīng)用于哪些方面呢？相比傳統(tǒng)的基于特征的算法，性能差距至少是兩個(gè)數(shù)量級(jí)吧？

深度學(xué)習(xí)采用的多層神經(jīng)網(wǎng)絡(luò)，運(yùn)算量大，相比傳統(tǒng)的機(jī)器學(xué)習(xí)算法，一般來說，差距至少是好幾個(gè)數(shù)量級(jí)，這個(gè)和網(wǎng)絡(luò)結(jié)構(gòu)、層級(jí)等有直接關(guān)系。應(yīng)用的范圍很廣，包括圖像識(shí)別、語音識(shí)別、翻譯、數(shù)據(jù)挖掘等。

在移動(dòng)設(shè)備上，使用深度學(xué)習(xí)來實(shí)現(xiàn)一些圖像識(shí)別的功能，這是時(shí)下的一個(gè)研究熱點(diǎn)。前段時(shí)間 Caffe 的作者在手機(jī)上實(shí)現(xiàn)了實(shí)時(shí)處理視頻添加類似 Prisma 的網(wǎng)絡(luò)結(jié)構(gòu)，使用的是經(jīng)過優(yōu)化的 Caffe2 版本。隨著手機(jī)硬件越來越高，在上面跑多層神經(jīng)網(wǎng)絡(luò)逐漸成為可能，甚至是實(shí)時(shí)處理都已經(jīng)不是問題。

iOS 9 開始，蘋果就提供了深度學(xué)習(xí) API ，在 iOS 10，相關(guān) API 得到更新?？梢岳斫鉃椋?iPhone 7 以后，進(jìn)行深度學(xué)習(xí)的開發(fā)，已經(jīng)逐漸成熟了。

想要隨時(shí)隨地跟大牛嘉賓交流嗎？想要第一時(shí)間掌握公開課信息嗎？想要找到志同道合的小伙伴嗎？

歡迎掃描下方二維碼，關(guān)注 AI 科技評(píng)論公眾號(hào)。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。