雷鋒網 AI 科技評論按：是否為了簡單的摳圖功能，還在苦苦修煉 Photoshop 大法？即使修煉成功了，是否覺得在摳圖這件事情上花費的時間依然太多？如今一個名叫 remove.bg 的工具可以免除你的這種煩惱，只要上傳照片后點擊確認，5 秒鐘后即可獲得一張透明無背景的主體照，而且在使用上完全免費。

由 byteq 開發(fā)人員 Benjamin Groessing 所開發(fā)的 remove.bg 是一款基于 Python、Ruby 和深度學習的摳圖工具，它通過 AI 技術自動識別前景層，然后將之與背景層分離開來。為了改善分離的細節(jié)效果和防止「串色」，團隊還專門增加了相關算法。

不過 Benjamin Groessing 也在個人推特上強調了，remove.bg 目前只能針對含有人像的照片，其他更復雜的主體識別功能，未來將根據(jù)用戶的反饋持續(xù)完善。

網站目前免費開放，無論你是專業(yè)設計師還是剛入行的運營小白，都可以上傳照片實現(xiàn)自動摳圖，免去選擇、標記等一系列繁瑣的常規(guī)操作。不過雷鋒網 AI 科技評論在此提醒各位，該網站對于上傳照片的大小以及輸出照片的像素是有限制的，其中上傳的照片大小不能超過 8 M，輸出的照片像素也只有 500px。如果對最后的成圖質量有較高要求，建議各位還是選擇使用 Photoshop。

在展示網站的試用效果以前，雷鋒網 AI 科技評論先簡單介紹本次的考核標準：

1. 如何處置人物手中持有的物體

2. 會否把過暗/過亮的衣服當成背景

3. 光照不足下的識別效果

4. 渣像素圖像的識別效果

5. 會否出現(xiàn)無解的「破洞」

這些考核標準主要參考了 AI 科技評論去年介紹過的一項由 Gidi Sheperber 在 greenScreen.AI 所做的一項同性質工作，我們想知道，這一年來我們的技術在面對同樣的問題時是否已經有了進步：

1）如何處置人物手持的物體

我們可以看出，系統(tǒng)在面對大面積與人體相連的物體時，會將物體視作人體的一部分，當成前景圖處理；

而面對與人手相連程度較低的物體時，則會當做背景圖剔除掉。

2）會否把過暗/過亮的衣服當成背景

由于背景顏色與人物衣服顏色較相近，導致系統(tǒng)將其視作人體的一部分，如右邊小哥的背包；另外還有部分人物的衣物被視作背景的一部分，如右邊小哥的帽子。

由于背景顏色與人物穿著顏色有所區(qū)隔，所以最終出來的識別結果較出色，然而依然出現(xiàn)小范圍背景與人體粘連一塊的現(xiàn)象，主要集中在人體與人體之間的縫隙間。

3）光照不足下的識別效果

最終識別效果不俗，不過又一次出現(xiàn)大面積與人體相連物體被視作前景圖的情況（枕頭），看來與團隊背后的算法設置有一定關系；

由于左邊光線不足導致人物被視作背景圖。令人驚喜的是，右邊人物的摳圖效果不俗，雖然部分背景被視作人體的一部分。

4）渣像素圖像的識別效果

選用照片像素為 105 x 186，「與人體相連面積較大的物體視作人體一部分」定律再次被驗證，此外，「人體與人體之間的縫隙被視作人體一部分」問題再次出現(xiàn)。

選用的照片像素為 185 x 185，暫時沒有可以挑剔的。

5）會否出現(xiàn)無解的「破洞」

在去年 Gidi Sheperber 的同性質工作中，她發(fā)現(xiàn)有些本應該不錯的摳圖結果，最終卻出現(xiàn)類似于被挖了一個洞的情況。對此，AI 科技評論在使用 remove.bg 的過程中未發(fā)現(xiàn)類似情況。

小結

目前看來，remove.bg 需要加強優(yōu)化的是人體與人體之間縫隙容易被視作前景圖的問題。另外 remove.bg 默認圖中的物品只要與人體的相連面積較大，一律視作前景圖處理，這點在未來可以考慮開放選擇項，讓用戶自行選擇，畢竟有些時候就只是純粹要摳的人物。

優(yōu)點方面，圖像的背景顏色只要不與人體顏色過分相近，remove.bg 在光線不足與低像素的摳圖表現(xiàn)還是讓人比較滿意的。重點稱贊 remove.bg 的響應速度，每一張照片從上傳到生成最終結果，AI 科技評論的體驗是每張基本都不會超過 5 秒。最終出來的描邊效果雖然不算十分優(yōu)秀，但對一般用戶的使用而言完全綽綽有余。

Gidi Sheperber 的相關工作

Gidi Sheperber 的工作與 remove.bg 相比只能說是朋友之間的趣味實驗，她和朋友 Alon Burg 花了幾個月時間，基于 COCO 數(shù)據(jù)集采用語義分割技術和 Tiramisu 模型試圖打造一個摳圖模型。最后他們基于這項工作總結了許多關于數(shù)據(jù)選擇和模型訓練上的問題，并提出相應的改進方式，對我們來說有一定的啟發(fā)作用。

比如在模型的訓練上，她們將范圍鎖定在肖像與自拍圖像，是因為肖像與自拍圖像有較突出和集中的前景，并且能保持相對穩(wěn)定的角度，這將有利于最終的圖像切割效果。因此不難理解為何 remove.bg 目前只能提供人像摳圖服務。

在模型的選擇上，她們采用了擁有極深編碼-解碼架構 Tiramisu，這是因為該模型緊湊且計算快速，同時兼?zhèn)?Unet 在實現(xiàn)方面的強項，最終的結果也沒讓她們失望，尤其是在圖像尖銳邊緣的捕獲上讓人非常驚艷。

Tiramisu 的通用架構

數(shù)據(jù)集的選擇上也是經過一番抉擇，他們最終才敲定包含最多「人」這一類別圖像的 COCO 數(shù)據(jù)集?；跁r間和模型集中程度的考量，她們決定選擇與任務最相關的那一部分數(shù)據(jù)集，而舍棄了更一般性的數(shù)據(jù)集。這么做的好處是最終訓練的模型會非常集中，然而面對更多場景和更具挑戰(zhàn)性的圖像時模型的表現(xiàn)可能會受影響。

以下為 Gidi Sheperber 和朋友的部分工作成果。

最終切割結果。從左到右分別是：圖像，真實數(shù)據(jù)，輸出結果（來自測試集）

他們在過程中發(fā)現(xiàn)，除了可能的代碼錯誤的正常調試之外，模型的錯誤是「可預測的」。如「切割」身體部分超出了正常的軀干范圍，沒必要的軀干延伸，光照不足，照片質量低和照片中細節(jié)過多等。其中一些在添加不同數(shù)據(jù)集中特定圖像時被處理掉了，但是其它的一些則依然是一項還有待處理的挑戰(zhàn)。這些都被雷鋒網AI 科技評論總結成了上文中用于測試 remove.bg 摳圖效果的 5 條標準。

最后，Gidi Sheperber 也針對自身的工作提供了改進建議，比如在訓練數(shù)據(jù)上采用更大分辨率的圖像、利用 CRF 改進圖像邊緣噪點問題、持續(xù)關注摳圖（Matting）技術的最新進展等。

最后強調一點，由于不同的實驗之間涉及的技術、模型、數(shù)據(jù)類型、數(shù)據(jù)數(shù)量和訓練方式都不盡相同，本篇文章借用 Gidi Sheperber 的工作成果作為 remove.bg 的考核標準，肯定有失之偏頗的地方，畢竟 remove.bg 尚未對外公開背后的算法邏輯。無論如何，我們相信同性質的工作互相都有可以借鑒的地方，感興趣的同學可以自行點擊《自拍摳圖摳到手軟？詳解如何用深度學習消除背景》查看 Gidi Sheperber 去年所做的這項工作的更多細節(jié)。

雷峰網原創(chuàng)文章，未經授權禁止轉載。詳情見轉載須知。