0
| 本文作者： 我在思考中 | 2021-08-26 10:17 |
谷歌Ethical AI人工智能倫理研究小組前負(fù)責(zé)人瑪格麗特·米切爾（Margaret Mitchell）將加入Hugging Face，開(kāi)發(fā)讓AI 公平的工具。
8月25日，谷歌Ethical AI人工智能倫理研究小組前負(fù)責(zé)人瑪格麗特·米切爾(Margaret Mitchell)將加入人工智能創(chuàng)業(yè)公司Hugging Face，幫助企業(yè)開(kāi)發(fā)確保其算法公平的工具。她因與他人合著的一篇重要論文引起爭(zhēng)議而在今年2月被谷歌解雇。
Hugging Face有何吸引力？
Hugging Face 是一家總部位于紐約的聊天機(jī)器人初創(chuàng)服務(wù)商，專注于NLP技術(shù)，擁有大型的開(kāi)源社區(qū)。尤其是在github上開(kāi)源的自然語(yǔ)言處理，預(yù)訓(xùn)練模型庫(kù) Transformers，已被下載超過(guò)一百萬(wàn)次，github上超過(guò)24000個(gè)star。Transformers 提供了NLP領(lǐng)域大量state-of-art的預(yù)訓(xùn)練語(yǔ)言模型結(jié)構(gòu)的模型和調(diào)用框架。
Transformers最早的名字叫做pytorch-pretrained-bert，推出于google BERT之后。顧名思義，它是基于pytorch對(duì)BERT的一種實(shí)現(xiàn)。pytorch框架上手簡(jiǎn)單，BERT模型性能卓越，集合了兩者優(yōu)點(diǎn)的pytorch-pretrained-bert吸引了大批的追隨者和貢獻(xiàn)者。
其后，在社區(qū)的努力下，GPT、GPT-2、Transformer-XL、XLNET、XLM等一批模型也被相繼引入，整個(gè)家族愈發(fā)壯大，這個(gè)庫(kù)更名為pytorch-transformers。
2019年6月Tensorflow2的beta版發(fā)布，Huggingface實(shí)現(xiàn)了TensorFlow 2.0和PyTorch模型之間的深層互操作性，可以在TF2.0/PyTorch框架之間隨意遷移模型。之后也發(fā)布2.0版本,并更名為 transformers 。到目前為止，transformers 提供了超過(guò)100+種語(yǔ)言的，32種預(yù)訓(xùn)練語(yǔ)言模型。
Hugging Face維護(hù)著一個(gè)存儲(chǔ)庫(kù)，人們可以在儲(chǔ)存庫(kù)中共享AI模型并進(jìn)行合作。這是一個(gè)開(kāi)放源代碼平臺(tái)，目前已經(jīng)有5000多家機(jī)構(gòu)使用，其中包括谷歌、Facebook、和微軟。米切爾計(jì)劃在10月份啟動(dòng)，并將首先開(kāi)發(fā)一套工具，以確保用于訓(xùn)練人工智能算法的數(shù)據(jù)集不存在偏見(jiàn)。目前用于“教導(dǎo)”模型如何進(jìn)行預(yù)測(cè)或確定的數(shù)據(jù)集，通常因?yàn)樵紨?shù)據(jù)的不完整會(huì)導(dǎo)致AI軟件在女性、少數(shù)群體成員還有老年人中表現(xiàn)不佳。
米切爾和Hugging Face已經(jīng)建立了關(guān)系，因?yàn)闉榱舜_保模型的公平性，Hugging Face建議工程師和科學(xué)家在發(fā)布項(xiàng)目時(shí)使用米切爾在谷歌開(kāi)發(fā)的名為“Model Cards”的工具來(lái)評(píng)估人工智能系統(tǒng)，以揭示優(yōu)缺點(diǎn)。Hugging Face首席執(zhí)行官兼聯(lián)合創(chuàng)始人克萊門特·德蘭吉（Clement Delangue）表示，放在Hugging Face上的20000個(gè)項(xiàng)目中，約有四分之一使用了Model Cards工具。
Hugging Face 在其 50 人的員工中還有幾位人工智能倫理專家，但 CEO 德蘭格（Delangue ）計(jì)劃讓所有員工對(duì)這項(xiàng)工作負(fù)責(zé)并努力。
德蘭格表示：“我們不想建立一個(gè)輔助的人工智能倫理團(tuán)隊(duì)，而是真正讓它成為公司的核心，并確保它真正融入每個(gè)人的工作。米切爾不會(huì)建立一個(gè)由少數(shù)人組成，只是偶爾提供咨詢的團(tuán)隊(duì)?！?/span>
米切爾在一次采訪中表示，在用軟件評(píng)估人工智能系統(tǒng)方面，"要用非常嚴(yán)肅和積極的態(tài)度去工作?！斑@對(duì)我來(lái)說(shuō)是一個(gè)非常好的機(jī)會(huì)，可以幫助模型構(gòu)建者更好地理解他們正在構(gòu)建的模型的危害和風(fēng)險(xiǎn)?！?/span>
米切爾在從谷歌離職后表示，她希望在一家規(guī)模較小的公司工作，這樣可以從一開(kāi)始就將人工智能倫理納入在考慮內(nèi)。她說(shuō)，在Hugging Face中，“已經(jīng)有很多基本的道德價(jià)值觀。很明顯，我不必強(qiáng)行插手或改進(jìn)倫理流程。”
米切爾究竟為何被解雇？
米切爾的解雇源于谷歌人工智能倫理研究團(tuán)隊(duì)的動(dòng)蕩。去年，谷歌公司就解雇了該團(tuán)隊(duì)的另一位聯(lián)合負(fù)責(zé)人蒂姆尼特·格布魯(Timnit Gebru)，原因是她拒絕撤回與米切爾等人共同撰寫的一篇論文，這篇文章涉及到對(duì)谷歌技術(shù)的批評(píng)。Gebru離職后，作為團(tuán)隊(duì)剩余負(fù)責(zé)人的米切爾公開(kāi)強(qiáng)烈批評(píng)谷歌及其管理層，指責(zé)谷歌未能認(rèn)真對(duì)待對(duì)其人工智能產(chǎn)品的問(wèn)題，以及解雇Gebru的做法，因?yàn)镚ebru是人工智能研究領(lǐng)域?yàn)閿?shù)不多的杰出黑人女性之一。谷歌則表示， Gebru 已辭職，Mitchell 違反了谷歌的行為準(zhǔn)則和安全政策。
谷歌的員工對(duì)其處理此事的方式表示憤慨，今年早些時(shí)候，對(duì)十多名現(xiàn)任和前任員工以及人工智能學(xué)術(shù)研究人員的采訪表明，在兩年多的時(shí)間里谷歌的人工智能的工作，在處理騷擾、種族主義和性別歧視指控方式上一直陷于爭(zhēng)議之中。
提到這篇論文，大致集中攻擊了大規(guī)模語(yǔ)言模型（如BERT）的消極影響，而B(niǎo)ERT模型是谷歌的王牌AI產(chǎn)品之一。
這篇論文名為《On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?》。
據(jù)了解，這篇論文基于其他研究人員的工作，參考了128篇學(xué)術(shù)文獻(xiàn)，展示了自然語(yǔ)言處理的發(fā)展歷史與大型語(yǔ)言模型的四大危害，呼吁對(duì)語(yǔ)言模型進(jìn)行更深入的研究。
這四大危害包括：
1、訓(xùn)練大型AI模型會(huì)消耗大量能源；（訓(xùn)練一個(gè)BERT模型大約會(huì)產(chǎn)生1,438磅二氧化碳，相當(dāng)于在紐約與舊金山之間的一次往返航班所產(chǎn)生的碳排放量。）
2、大型語(yǔ)言模型是基于大量文本進(jìn)行訓(xùn)練，無(wú)法避免偏見(jiàn)的存在，包括那些涉及種族歧視的、具有性別歧視色彩的與其他虐待性的語(yǔ)言；
3、大型語(yǔ)言模型無(wú)法理解語(yǔ)言，但公司由于利益關(guān)系會(huì)加大這方面的投入，從而帶來(lái)機(jī)會(huì)成本；
4、由于大型語(yǔ)言模型非常擅長(zhǎng)模仿真實(shí)的人類語(yǔ)言，所以很容易被用來(lái)欺騙人類。
谷歌在許多基礎(chǔ)研究上遙遙領(lǐng)先，這帶來(lái)了大型語(yǔ)言模型的最新爆炸式增長(zhǎng)。如果真的如論文所說(shuō)大規(guī)模語(yǔ)言模型“危害大于利益”，而谷歌解雇一系列人員，那對(duì)這件事的態(tài)度也就不言而喻了?；蛟S從這個(gè)角度就能理解米切爾加入Hugging Face的原因了。
雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)特約稿件，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
