上周剛面世的一項(xiàng)服務(wù)Genderify，號稱能通過AI分析姓名、用戶名或電郵地址來判斷某人性別，結(jié)果因?yàn)樗惴ㄆ顚?shí)在離譜，在社交媒體上引起了廣泛關(guān)注。

我們來看看Genderify的一小部分“成績單”：

輸入“Meghan Smith”，評估結(jié)果為“男性：39.60%，女性：60.40%”；

但輸入“Dr.Meghan Smith”，評估就會(huì)變?yōu)椋骸澳行裕?5.90%，女性：24.10%”。

其他名字加上“Dr”，也會(huì)讓系統(tǒng)給出更偏向男性的結(jié)果。

有網(wǎng)友試著輸入了一些單詞或名人姓名，Genderify也表現(xiàn)得令人失望：

比如輸入“scientist”，評估結(jié)果為“男性：95.7%，女性：4.3%”；

輸入“Oprah Winfrey”（美國著名脫口秀女主持），評估結(jié)果為“男性：78.3%，女性：21.7%”；

Genderify的首席運(yùn)營官Arevik Gasparyan是一名女性，但系統(tǒng)連自家高管都不認(rèn)得，給出了“男性：91.2%，女性：8.8%”的結(jié)果。

群眾抗議情緒之強(qiáng)烈，已經(jīng)迫使Genderify徹底關(guān)閉了這項(xiàng)服務(wù)，網(wǎng)站現(xiàn)已脫機(jī)，其免費(fèi)API也無法再訪問。

一位代表通過電子郵件向媒體回應(yīng)：“如果大家不想要，這樣的結(jié)局也許是公平的?！?/p>

盡管類似的性別偏見經(jīng)常出現(xiàn)在機(jī)器學(xué)習(xí)中，但Genderify這種“不過大腦”的程度似乎讓該領(lǐng)域的許多專家感到驚訝。Meredith Whittaker是紐約大學(xué) AI Now的聯(lián)合創(chuàng)始人，專注研究AI對社會(huì)造成的影響，她的反應(yīng)就非常典型：“科技圈的愚人節(jié)來了？這是一種干擾科技與司法世界的心理戰(zhàn)嗎？”

為什么Genderify會(huì)引發(fā)大規(guī)模吐槽？就因?yàn)樗鶕?jù)某人的名字對其性別做出假設(shè)？并非如此。業(yè)界指出，其實(shí)人類也會(huì)通過名字猜性別，有時(shí)也會(huì)在這個(gè)過程中犯錯(cuò)誤，這就需要了解人們的自我認(rèn)同感，思考對方希望得到怎樣的稱呼，才能降低冒犯對方的可能。

Genderify的問題在于，它自動(dòng)化了這些假設(shè)，顯得太過“想當(dāng)然”了，加深了這個(gè)過程中的性別刻板印象。比如前文提到的，在名字前加Dr.的情況，意味著系統(tǒng)認(rèn)為：如果你是醫(yī)生，那你大概率是個(gè)男人。

雖然創(chuàng)始人Arevik Gasparyan強(qiáng)調(diào)這是一個(gè)用于營銷的數(shù)據(jù)分析工具，但有觀點(diǎn)認(rèn)為，它在特定的應(yīng)用方式和地點(diǎn)下，會(huì)出現(xiàn)潛在危害。

例如這項(xiàng)服務(wù)被集成到醫(yī)療聊天機(jī)器人中，它對用戶性別的假設(shè)，可能會(huì)導(dǎo)致聊天機(jī)器人發(fā)出誤導(dǎo)性的醫(yī)療建議。

用戶們對產(chǎn)品的性別歧視色彩表示擔(dān)憂，有提問稱：“如果我選擇了既不是男性也不是女性，你如何處理這個(gè)問題？你如何避免性別歧視？你是如何處理性別偏見的？”

對此，Gasparyan稱，服務(wù)是基于“已經(jīng)存在的姓名/性別數(shù)據(jù)庫”，公司也“正在積極尋求解決辦法，以改善跨性別者等群體的用戶體驗(yàn)”，試圖將姓名/用戶名/電子郵件的概念與性別身份區(qū)分開來。

一位代表也通過電子郵件給出了較為詳細(xì)的回應(yīng)：

“我們明白，我們的模型永遠(yuǎn)不會(huì)提供理想的結(jié)果，算法需要顯著改進(jìn)。為了讓它更好地發(fā)揮作用，我們非常期待LGBTQ等群體的反饋，以協(xié)助我們盡可能地改進(jìn)性別分析算法。我們的目標(biāo)是建立一個(gè)自學(xué)習(xí)的人工智能，它將不會(huì)像任何現(xiàn)有的解決方案那樣帶有偏見?！?/p>

雷鋒網(wǎng)編譯，參考來源：

https://www.theverge.com/2020/7/29/21346310/ai-service-gender-verification-identification-genderify

https://baijiahao.baidu.com/s?id=1673625518588393349&wfr=spider&for=pc

雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。