1
| 本文作者： 劉芳平 | 2018-02-11 18:58 |
2 月 9 日，紐約時報英文網(wǎng)站發(fā)表一篇文章，指出如今非常熱門的 AI 應(yīng)用人臉識別，針對不同種族的準確率差異巨大。其中，針對黑人女性的錯誤率高達 21%-35%，而針對白人男性的錯誤率則低于 1%。
文章引用了 MIT 媒體實驗室（MIT Media Lab）研究員 Joy Buolamwini 與來自微軟的科學(xué)家 Timnit Gebru 合作的一篇研究論文《性別圖譜：商用性別分類技術(shù)中的種族準確率差異》（Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification）中的數(shù)據(jù)。
論文作者選擇了微軟、IBM 和曠視（Face++）三家的人臉識別 API，對它們進行性別判定的人臉識別功能測試。以下為兩組準確率差異最大的人群。
在一組 385 張照片中，白人男性的識別誤差最高只有 1%
在一組 271 張照片中，膚色較黑的女性識別誤差率高達 35%
圖源：紐約時報，Joy Buolamwini, M.I.T. Media Lab
論文研究使用了自行收集的一組名為 Pilot Parliaments Benchmark (PPB) 數(shù)據(jù)集進行測試，里面包含 1270 張人臉，分別來自三個非洲國家和三個歐洲國家。
在判斷照片人物性別方面，以下是論文作者測試后得到的關(guān)鍵發(fā)現(xiàn)：
所有的分類器在識別男性人臉上的表現(xiàn)要優(yōu)于女性人臉（8.1%-20.6%的錯誤差別）
所有分類器在膚色較白的人臉上表現(xiàn)優(yōu)于膚色較深的人臉（11.8%-19.2%的錯誤差別）
所有分類器在膚色較深的女性人臉上表現(xiàn)最差（錯誤率在 20.8%-34.7% 之間）
微軟和 IBM 的分類器在淺膚色男性人臉上表現(xiàn)最好（錯誤率分別為 0% 及 0.3%）
Face++ 的分類器在膚色較深的男性人臉上表現(xiàn)最好（錯誤率 0.7%）
最差的一組與最好的一組差距高達 34.4%
需要指出的是，三家人臉識別 API 都沒有很細節(jié)地解釋自己所使用的分類方法，也沒有提及自己所使用的訓(xùn)練數(shù)據(jù)。
不過，微軟在服務(wù)中表明“不一定每次都有 100% 的準確率”；Face++ 則特別在使用條款中表明對準確性不予保證。
關(guān)于可能的原因，時報文章表示，當(dāng)下的人工智能是數(shù)據(jù)為王，數(shù)據(jù)的好壞和多少會影響 AI 的智能程度。因而，如果用來訓(xùn)練 AI 模型的數(shù)據(jù)集中，白人男性的數(shù)據(jù)多于黑人女性，那么系統(tǒng)對后者的識別能力就會不如前者。
現(xiàn)有的數(shù)據(jù)集中存在這一現(xiàn)象，比如根據(jù)另一項研究的發(fā)現(xiàn)，一個被廣泛使用的人臉識別數(shù)據(jù)集中，75% 都是男性，同時 80% 是白人。
曠視在給雷鋒網(wǎng)的回應(yīng)中表示，深色人種數(shù)據(jù)集比較難獲得，所以會差一些；另外，使用 RGB 攝像頭進行人臉識別時，深膚色人的人臉特征比較難找，特別是在暗光條件下，這也是一方面的原因。
針對 Buolamwini 和 Gebru 的這一論文發(fā)現(xiàn)，2 月 6 日，IBM 在自家的 IBM Research 博客上發(fā)表了一篇回應(yīng)文章。
文章并未否認論文的發(fā)現(xiàn)，而是指出，IBM 的 Watson Visual Recognition 服務(wù)一直在持續(xù)改善，在最新的將于 2 月 23 日推出的新版服務(wù)中，使用了相比論文中更廣泛的數(shù)據(jù)集，擁有強大的識別能力，相比論文中的錯誤率有近 10 倍的下降。
隨后文章中表示 IBM Research 用類似論文中的方法進行了實驗，發(fā)現(xiàn)如下：
結(jié)果顯示整體的錯誤率都很低，雖然膚色較黑的女性的錯誤率仍然是所有人群中最高的，但相比論文的結(jié)果有很大下降。
雷鋒網(wǎng)針對這篇論文向曠視尋求回應(yīng)，對方給予了非常詳細的解答。回應(yīng)中，曠視首先對論文的研究方法表示認可，但同時指出研究所用的線上 API 是較舊的版本，在商用的產(chǎn)品中不會出現(xiàn)這類問題；而且，此類問題也是業(yè)內(nèi)普遍存在的，不僅限于測試的這三家。原因主要有兩點，一是深色人種數(shù)據(jù)集的缺乏，二是深色人種人臉特征較難提取。
以下為回應(yīng)全文：
我們相信文章（論文）立意不是針對哪一家的技術(shù)，基本是不吹不黑的中立態(tài)度，而且從文章的測試方法來看還是比較科學(xué)的，但是文章中所用的“PPB”（ Pilot Parliaments Benchmark）數(shù)據(jù)集在 GitHub 的發(fā)布地址已經(jīng)失效，所以我們目前無法自行檢測以驗證文章的結(jié)論。
在集成到 Face++ API 中的時候，曠視研究院有針對不同人種進行檢測、識別等測試。但是就目前國際范圍內(nèi)的研究水平來說，不管是在學(xué)界還是產(chǎn)業(yè)界，對于膚色人種的識別表現(xiàn)都沒有對“膚色較淺（引用文章用詞）”人種優(yōu)秀，從此文的測試結(jié)果中也可以看出，微軟、IBM 和 Face++ 在膚色較深人種識別的表現(xiàn)中（尤其是膚色較深女性）機器的誤實率會更高。
一方面從人類基因和人臉識別技術(shù)角度來說，皮膚的顏色越深對于基于 RGB 可見光的人臉識別的難度就越大，因為機器在進行人臉檢測、分析和識別的過程中需要對人臉圖像進行預(yù)處理和特征提取，所以皮膚顏色越深，面部的特征信息就越難提取，尤其是在一些暗光情況下，更加難以檢測和區(qū)分。另一方面，人臉識別很大程度上依賴于數(shù)據(jù)訓(xùn)練，而在整個行業(yè)中黑色人種的可訓(xùn)練數(shù)據(jù)量較少，所以識別的結(jié)果在某些程度上不盡人意，所以文章呈現(xiàn)的測試結(jié)果是行業(yè)普遍存在的現(xiàn)象。文章中只是選取了三家行業(yè)代表來進行了測試，如果樣本量足夠大，那可能還會得出其他的結(jié)論。
不過測試結(jié)果也顯示，F(xiàn)ace++ 對于黑人男性的識別錯誤率（0.7%）是最低的，且在 PPB 的南非子測試集中，F(xiàn)ace++識 別膚色較淺人種的表現(xiàn)是完美無瑕的，這些其實也間接說明 Face++ 的人臉識別能力是處于全球領(lǐng)先的地位。
文章作者提出了一個很好的問題，但文章中測試的 API 線上版本和我們?yōu)橛脩籼峁┑纳虡I(yè)版本無關(guān)，用戶在業(yè)務(wù)使用中不會有任何影響。
當(dāng)然我們也相信行業(yè)內(nèi)都在針對人種識別優(yōu)化做著各種努力。而就 Face++ 來講，未來研究院會從幾個角度去改善目前的狀況，如增加訓(xùn)練數(shù)據(jù)，針對不同人種進行專門訓(xùn)練，另外是從算法層面優(yōu)化現(xiàn)在的流程，提升對不同人種的識別性能，此外，曠視也在加大 3D 感知的研發(fā)力度，將三維特征信息融合到應(yīng)用中彌補二維信息的不足使模型更加魯棒。
根據(jù)時報的報道，論文的作者之一黑人女性 Buolamwini 做這項研究之前，曾遇到過人臉識別無法識別她的臉，只有在她戴上一張白色面具時才行，因而引發(fā)了她開啟這項研究。很明顯，這項研究試圖探討 AI 時代是否存在社會不公甚至種族歧視的問題。
種族歧視作為一個非常敏感的話題，許多事情只要有些微沾上點邊就會引發(fā)強烈反彈。在人臉識別這塊，無論是論文作者的研究，還是廠商的實驗都明確發(fā)現(xiàn)女性深色人種識別誤差率更高。但這就能代表 AI 存有歧視嗎？
顯然并不是，細究其中的原因，之所以膚色較深女性較難識別，除了有天然人臉特征更難提取之外，還有可供訓(xùn)練的數(shù)據(jù)集較少的原因。而從市場的角度來說，IBM 和 微軟的服務(wù)在白人男性中表現(xiàn)最好，是因為其市場主要在歐美，而那里白人占多數(shù)；曠視的主要市場在東亞和東南亞，因而其在黃種人當(dāng)中的表現(xiàn)會好很多，這跟歧視沒有關(guān)系，而是市場導(dǎo)向的技術(shù)研發(fā)。
話又說回來，這篇論文確實顯示，AI 的智能性跟訓(xùn)練數(shù)據(jù)有很大關(guān)系，因而在設(shè)計 AI 應(yīng)用時，我們應(yīng)該盡量使用廣泛且代表性強的數(shù)據(jù)，照顧到不同的人群；同時要積極對公眾解釋 AI 的實現(xiàn)原理。
最后，雷鋒網(wǎng)認為，這件事同時表明，鼓勵新技術(shù)的發(fā)展惠及更多少數(shù)族裔是一件需要更多重視的事情，不僅僅是人臉識別，還有語言、文化等各方面。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
