0
雷鋒網(wǎng) AI 科技評(píng)論按：是否為了簡單的摳圖功能，還在苦苦修煉 Photoshop 大法？即使修煉成功了，是否覺得在摳圖這件事情上花費(fèi)的時(shí)間依然太多？如今一個(gè)名叫 remove.bg 的工具可以免除你的這種煩惱，只要上傳照片后點(diǎn)擊確認(rèn)，5 秒鐘后即可獲得一張透明無背景的主體照，而且在使用上完全免費(fèi)。
由 byteq 開發(fā)人員 Benjamin Groessing 所開發(fā)的 remove.bg 是一款基于 Python、Ruby 和深度學(xué)習(xí)的摳圖工具，它通過 AI 技術(shù)自動(dòng)識(shí)別前景層，然后將之與背景層分離開來。為了改善分離的細(xì)節(jié)效果和防止「串色」，團(tuán)隊(duì)還專門增加了相關(guān)算法。
不過 Benjamin Groessing 也在個(gè)人推特上強(qiáng)調(diào)了，remove.bg 目前只能針對含有人像的照片，其他更復(fù)雜的主體識(shí)別功能，未來將根據(jù)用戶的反饋持續(xù)完善。
網(wǎng)站目前免費(fèi)開放，無論你是專業(yè)設(shè)計(jì)師還是剛?cè)胄械倪\(yùn)營小白，都可以上傳照片實(shí)現(xiàn)自動(dòng)摳圖，免去選擇、標(biāo)記等一系列繁瑣的常規(guī)操作。不過雷鋒網(wǎng) AI 科技評(píng)論在此提醒各位，該網(wǎng)站對于上傳照片的大小以及輸出照片的像素是有限制的，其中上傳的照片大小不能超過 8 M，輸出的照片像素也只有 500px。如果對最后的成圖質(zhì)量有較高要求，建議各位還是選擇使用 Photoshop。
在展示網(wǎng)站的試用效果以前，雷鋒網(wǎng) AI 科技評(píng)論先簡單介紹本次的考核標(biāo)準(zhǔn)：
如何處置人物手中持有的物體
會(huì)否把過暗/過亮的衣服當(dāng)成背景
光照不足下的識(shí)別效果
渣像素圖像的識(shí)別效果
會(huì)否出現(xiàn)無解的「破洞」
這些考核標(biāo)準(zhǔn)主要參考了 AI 科技評(píng)論去年介紹過的一項(xiàng)由 Gidi Sheperber 在 greenScreen.AI 所做的一項(xiàng)同性質(zhì)工作，我們想知道，這一年來我們的技術(shù)在面對同樣的問題時(shí)是否已經(jīng)有了進(jìn)步：
1）如何處置人物手持的物體
我們可以看出，系統(tǒng)在面對大面積與人體相連的物體時(shí)，會(huì)將物體視作人體的一部分，當(dāng)成前景圖處理；
而面對與人手相連程度較低的物體時(shí)，則會(huì)當(dāng)做背景圖剔除掉。
2）會(huì)否把過暗/過亮的衣服當(dāng)成背景
由于背景顏色與人物衣服顏色較相近，導(dǎo)致系統(tǒng)將其視作人體的一部分，如右邊小哥的背包；另外還有部分人物的衣物被視作背景的一部分，如右邊小哥的帽子。
由于背景顏色與人物穿著顏色有所區(qū)隔，所以最終出來的識(shí)別結(jié)果較出色，然而依然出現(xiàn)小范圍背景與人體粘連一塊的現(xiàn)象，主要集中在人體與人體之間的縫隙間。
3）光照不足下的識(shí)別效果
最終識(shí)別效果不俗，不過又一次出現(xiàn)大面積與人體相連物體被視作前景圖的情況（枕頭），看來與團(tuán)隊(duì)背后的算法設(shè)置有一定關(guān)系；
由于左邊光線不足導(dǎo)致人物被視作背景圖。令人驚喜的是，右邊人物的摳圖效果不俗，雖然部分背景被視作人體的一部分。
4）渣像素圖像的識(shí)別效果
選用照片像素為 105 x 186，「與人體相連面積較大的物體視作人體一部分」定律再次被驗(yàn)證，此外，「人體與人體之間的縫隙被視作人體一部分」問題再次出現(xiàn)。
選用的照片像素為 185 x 185，暫時(shí)沒有可以挑剔的。
5）會(huì)否出現(xiàn)無解的「破洞」
在去年 Gidi Sheperber 的同性質(zhì)工作中，她發(fā)現(xiàn)有些本應(yīng)該不錯(cuò)的摳圖結(jié)果，最終卻出現(xiàn)類似于被挖了一個(gè)洞的情況。對此，AI 科技評(píng)論在使用 remove.bg 的過程中未發(fā)現(xiàn)類似情況。
小結(jié)
目前看來，remove.bg 需要加強(qiáng)優(yōu)化的是人體與人體之間縫隙容易被視作前景圖的問題。另外 remove.bg 默認(rèn)圖中的物品只要與人體的相連面積較大，一律視作前景圖處理，這點(diǎn)在未來可以考慮開放選擇項(xiàng)，讓用戶自行選擇，畢竟有些時(shí)候就只是純粹要摳的人物。
優(yōu)點(diǎn)方面，圖像的背景顏色只要不與人體顏色過分相近，remove.bg 在光線不足與低像素的摳圖表現(xiàn)還是讓人比較滿意的。重點(diǎn)稱贊 remove.bg 的響應(yīng)速度，每一張照片從上傳到生成最終結(jié)果，AI 科技評(píng)論的體驗(yàn)是每張基本都不會(huì)超過 5 秒。最終出來的描邊效果雖然不算十分優(yōu)秀，但對一般用戶的使用而言完全綽綽有余。
Gidi Sheperber 的相關(guān)工作
Gidi Sheperber 的工作與 remove.bg 相比只能說是朋友之間的趣味實(shí)驗(yàn)，她和朋友 Alon Burg 花了幾個(gè)月時(shí)間，基于 COCO 數(shù)據(jù)集采用語義分割技術(shù)和 Tiramisu 模型試圖打造一個(gè)摳圖模型。最后他們基于這項(xiàng)工作總結(jié)了許多關(guān)于數(shù)據(jù)選擇和模型訓(xùn)練上的問題，并提出相應(yīng)的改進(jìn)方式，對我們來說有一定的啟發(fā)作用。
比如在模型的訓(xùn)練上，她們將范圍鎖定在肖像與自拍圖像，是因?yàn)樾は衽c自拍圖像有較突出和集中的前景，并且能保持相對穩(wěn)定的角度，這將有利于最終的圖像切割效果。因此不難理解為何 remove.bg 目前只能提供人像摳圖服務(wù)。
在模型的選擇上，她們采用了擁有極深編碼-解碼架構(gòu) Tiramisu，這是因?yàn)樵撃Ｐ途o湊且計(jì)算快速，同時(shí)兼?zhèn)?Unet 在實(shí)現(xiàn)方面的強(qiáng)項(xiàng)，最終的結(jié)果也沒讓她們失望，尤其是在圖像尖銳邊緣的捕獲上讓人非常驚艷。
Tiramisu 的通用架構(gòu)
數(shù)據(jù)集的選擇上也是經(jīng)過一番抉擇，他們最終才敲定包含最多「人」這一類別圖像的 COCO 數(shù)據(jù)集。基于時(shí)間和模型集中程度的考量，她們決定選擇與任務(wù)最相關(guān)的那一部分?jǐn)?shù)據(jù)集，而舍棄了更一般性的數(shù)據(jù)集。這么做的好處是最終訓(xùn)練的模型會(huì)非常集中，然而面對更多場景和更具挑戰(zhàn)性的圖像時(shí)模型的表現(xiàn)可能會(huì)受影響。
以下為 Gidi Sheperber 和朋友的部分工作成果。
最終切割結(jié)果。從左到右分別是：圖像，真實(shí)數(shù)據(jù)，輸出結(jié)果（來自測試集）
他們在過程中發(fā)現(xiàn)，除了可能的代碼錯(cuò)誤的正常調(diào)試之外，模型的錯(cuò)誤是「可預(yù)測的」。如「切割」身體部分超出了正常的軀干范圍，沒必要的軀干延伸，光照不足，照片質(zhì)量低和照片中細(xì)節(jié)過多等。其中一些在添加不同數(shù)據(jù)集中特定圖像時(shí)被處理掉了，但是其它的一些則依然是一項(xiàng)還有待處理的挑戰(zhàn)。這些都被雷鋒網(wǎng)AI 科技評(píng)論總結(jié)成了上文中用于測試 remove.bg 摳圖效果的 5 條標(biāo)準(zhǔn)。
最后，Gidi Sheperber 也針對自身的工作提供了改進(jìn)建議，比如在訓(xùn)練數(shù)據(jù)上采用更大分辨率的圖像、利用 CRF 改進(jìn)圖像邊緣噪點(diǎn)問題、持續(xù)關(guān)注摳圖（Matting）技術(shù)的最新進(jìn)展等。
最后強(qiáng)調(diào)一點(diǎn)，由于不同的實(shí)驗(yàn)之間涉及的技術(shù)、模型、數(shù)據(jù)類型、數(shù)據(jù)數(shù)量和訓(xùn)練方式都不盡相同，本篇文章借用 Gidi Sheperber 的工作成果作為 remove.bg 的考核標(biāo)準(zhǔn)，肯定有失之偏頗的地方，畢竟 remove.bg 尚未對外公開背后的算法邏輯。無論如何，我們相信同性質(zhì)的工作互相都有可以借鑒的地方，感興趣的同學(xué)可以自行點(diǎn)擊《自拍摳圖摳到手軟？詳解如何用深度學(xué)習(xí)消除背景》查看 Gidi Sheperber 去年所做的這項(xiàng)工作的更多細(xì)節(jié)。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
