0
| 本文作者： 我在思考中 | 2021-08-26 10:17 |
谷歌Ethical AI人工智能倫理研究小組前負責人瑪格麗特·米切爾（Margaret Mitchell）將加入Hugging Face，開發(fā)讓AI 公平的工具。
8月25日，谷歌Ethical AI人工智能倫理研究小組前負責人瑪格麗特·米切爾(Margaret Mitchell)將加入人工智能創(chuàng)業(yè)公司Hugging Face，幫助企業(yè)開發(fā)確保其算法公平的工具。她因與他人合著的一篇重要論文引起爭議而在今年2月被谷歌解雇。
Hugging Face有何吸引力？
Hugging Face 是一家總部位于紐約的聊天機器人初創(chuàng)服務(wù)商，專注于NLP技術(shù)，擁有大型的開源社區(qū)。尤其是在github上開源的自然語言處理，預(yù)訓(xùn)練模型庫 Transformers，已被下載超過一百萬次，github上超過24000個star。Transformers 提供了NLP領(lǐng)域大量state-of-art的預(yù)訓(xùn)練語言模型結(jié)構(gòu)的模型和調(diào)用框架。
Transformers最早的名字叫做pytorch-pretrained-bert，推出于google BERT之后。顧名思義，它是基于pytorch對BERT的一種實現(xiàn)。pytorch框架上手簡單，BERT模型性能卓越，集合了兩者優(yōu)點的pytorch-pretrained-bert吸引了大批的追隨者和貢獻者。
其后，在社區(qū)的努力下，GPT、GPT-2、Transformer-XL、XLNET、XLM等一批模型也被相繼引入，整個家族愈發(fā)壯大，這個庫更名為pytorch-transformers。
2019年6月Tensorflow2的beta版發(fā)布，Huggingface實現(xiàn)了TensorFlow 2.0和PyTorch模型之間的深層互操作性，可以在TF2.0/PyTorch框架之間隨意遷移模型。之后也發(fā)布2.0版本,并更名為 transformers 。到目前為止，transformers 提供了超過100+種語言的，32種預(yù)訓(xùn)練語言模型。
Hugging Face維護著一個存儲庫，人們可以在儲存庫中共享AI模型并進行合作。這是一個開放源代碼平臺，目前已經(jīng)有5000多家機構(gòu)使用，其中包括谷歌、Facebook、和微軟。米切爾計劃在10月份啟動，并將首先開發(fā)一套工具，以確保用于訓(xùn)練人工智能算法的數(shù)據(jù)集不存在偏見。目前用于“教導(dǎo)”模型如何進行預(yù)測或確定的數(shù)據(jù)集，通常因為原始數(shù)據(jù)的不完整會導(dǎo)致AI軟件在女性、少數(shù)群體成員還有老年人中表現(xiàn)不佳。
米切爾和Hugging Face已經(jīng)建立了關(guān)系，因為為了確保模型的公平性，Hugging Face建議工程師和科學(xué)家在發(fā)布項目時使用米切爾在谷歌開發(fā)的名為“Model Cards”的工具來評估人工智能系統(tǒng)，以揭示優(yōu)缺點。Hugging Face首席執(zhí)行官兼聯(lián)合創(chuàng)始人克萊門特·德蘭吉（Clement Delangue）表示，放在Hugging Face上的20000個項目中，約有四分之一使用了Model Cards工具。
Hugging Face 在其 50 人的員工中還有幾位人工智能倫理專家，但 CEO 德蘭格（Delangue ）計劃讓所有員工對這項工作負責并努力。
德蘭格表示：“我們不想建立一個輔助的人工智能倫理團隊，而是真正讓它成為公司的核心，并確保它真正融入每個人的工作。米切爾不會建立一個由少數(shù)人組成，只是偶爾提供咨詢的團隊?！?/span>
米切爾在一次采訪中表示，在用軟件評估人工智能系統(tǒng)方面，"要用非常嚴肅和積極的態(tài)度去工作。“這對我來說是一個非常好的機會，可以幫助模型構(gòu)建者更好地理解他們正在構(gòu)建的模型的危害和風險。”
米切爾在從谷歌離職后表示，她希望在一家規(guī)模較小的公司工作，這樣可以從一開始就將人工智能倫理納入在考慮內(nèi)。她說，在Hugging Face中，“已經(jīng)有很多基本的道德價值觀。很明顯，我不必強行插手或改進倫理流程。”
米切爾究竟為何被解雇？
米切爾的解雇源于谷歌人工智能倫理研究團隊的動蕩。去年，谷歌公司就解雇了該團隊的另一位聯(lián)合負責人蒂姆尼特·格布魯(Timnit Gebru)，原因是她拒絕撤回與米切爾等人共同撰寫的一篇論文，這篇文章涉及到對谷歌技術(shù)的批評。Gebru離職后，作為團隊剩余負責人的米切爾公開強烈批評谷歌及其管理層，指責谷歌未能認真對待對其人工智能產(chǎn)品的問題，以及解雇Gebru的做法，因為Gebru是人工智能研究領(lǐng)域為數(shù)不多的杰出黑人女性之一。谷歌則表示， Gebru 已辭職，Mitchell 違反了谷歌的行為準則和安全政策。
谷歌的員工對其處理此事的方式表示憤慨，今年早些時候，對十多名現(xiàn)任和前任員工以及人工智能學(xué)術(shù)研究人員的采訪表明，在兩年多的時間里谷歌的人工智能的工作，在處理騷擾、種族主義和性別歧視指控方式上一直陷于爭議之中。
提到這篇論文，大致集中攻擊了大規(guī)模語言模型（如BERT）的消極影響，而BERT模型是谷歌的王牌AI產(chǎn)品之一。
這篇論文名為《On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?》。
據(jù)了解，這篇論文基于其他研究人員的工作，參考了128篇學(xué)術(shù)文獻，展示了自然語言處理的發(fā)展歷史與大型語言模型的四大危害，呼吁對語言模型進行更深入的研究。
這四大危害包括：
1、訓(xùn)練大型AI模型會消耗大量能源；（訓(xùn)練一個BERT模型大約會產(chǎn)生1,438磅二氧化碳，相當于在紐約與舊金山之間的一次往返航班所產(chǎn)生的碳排放量。）
2、大型語言模型是基于大量文本進行訓(xùn)練，無法避免偏見的存在，包括那些涉及種族歧視的、具有性別歧視色彩的與其他虐待性的語言；
3、大型語言模型無法理解語言，但公司由于利益關(guān)系會加大這方面的投入，從而帶來機會成本；
4、由于大型語言模型非常擅長模仿真實的人類語言，所以很容易被用來欺騙人類。
谷歌在許多基礎(chǔ)研究上遙遙領(lǐng)先，這帶來了大型語言模型的最新爆炸式增長。如果真的如論文所說大規(guī)模語言模型“危害大于利益”，而谷歌解雇一系列人員，那對這件事的態(tài)度也就不言而喻了?；蛟S從這個角度就能理解米切爾加入Hugging Face的原因了。
雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)特約稿件，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
