整理丨AI科技評(píng)論
2月23日，清華大學(xué)計(jì)算機(jī)系崔鵬副教授與斯坦福大學(xué)Susan Athey（美國(guó)科學(xué)院院士，因果領(lǐng)域國(guó)際權(quán)威）合作，在全球頂級(jí)期刊Nature Machine Intelligence（影響因子IF=15.51，2020）上發(fā)表題為“Stable Learning Establishes Some Common Ground Between Causal Inference and Machine Learning”（穩(wěn)定學(xué)習(xí)：建立因果推理和機(jī)器學(xué)習(xí)的共識(shí)）的觀點(diǎn)論文。深入探討和總結(jié)了因果推理在機(jī)器學(xué)習(xí)和人工智能領(lǐng)域取得的關(guān)注，并對(duì)“穩(wěn)定學(xué)習(xí)”提出了系統(tǒng)性分析和展望。文章認(rèn)為，機(jī)器學(xué)習(xí)和因果推理之間應(yīng)該形成共識(shí)，而穩(wěn)定學(xué)習(xí)正在向?qū)崿F(xiàn)這一目標(biāo)的方向邁進(jìn)。
機(jī)器學(xué)習(xí)與經(jīng)濟(jì)學(xué)的碰撞，會(huì)產(chǎn)生什么樣的火花？人工智能的目標(biāo)是讓機(jī)器像人類(lèi)一樣“思考”和“決策”，機(jī)器學(xué)習(xí)是實(shí)現(xiàn)這一愿景的重要方法。那么，用機(jī)器學(xué)習(xí)的方法來(lái)解決現(xiàn)實(shí)中的決策問(wèn)題是否可行？斯坦福大學(xué)的Susan Athey在一次演講中用身邊的例子進(jìn)行了舉例：斯坦福大學(xué)的經(jīng)濟(jì)學(xué)系女教授的平均水平似乎比男教授更高，老是發(fā)不出文章的教授中女教授很少，但這很有可能是因?yàn)閿?shù)據(jù)自身的局限性，如果通過(guò)機(jī)器學(xué)習(xí)的方法編寫(xiě)程序按性別來(lái)篩選候選人，并用斯坦福的訓(xùn)練數(shù)據(jù)去推而廣之，很有可能在實(shí)際中產(chǎn)生歧視。利用機(jī)器學(xué)習(xí)實(shí)現(xiàn)對(duì)一項(xiàng)政策效果進(jìn)行更精準(zhǔn)的推斷，這正是諾貝爾獎(jiǎng)級(jí)別的研究成果——Susan Athey與她的丈夫Guido Imbens近年來(lái)關(guān)注的研究方向正是利用機(jī)器學(xué)習(xí)實(shí)現(xiàn)對(duì)政策效果更精準(zhǔn)的推斷，并在融合機(jī)器學(xué)習(xí)與政策的處置效應(yīng)方面合作撰寫(xiě)了多篇文章。而Guido Imbens2021年也因此與另兩位學(xué)者分享了當(dāng)年的諾貝爾經(jīng)濟(jì)學(xué)獎(jiǎng)，評(píng)獎(jiǎng)委員會(huì)認(rèn)為，他們?cè)趧趧?dòng)經(jīng)濟(jì)學(xué)和從自然實(shí)驗(yàn)中分析因果推理方面做出了突出貢獻(xiàn)，掀起了經(jīng)濟(jì)學(xué)研究的“可信革命”。所謂“因果推理”是計(jì)量經(jīng)濟(jì)學(xué)中近年來(lái)得到重視的一個(gè)重要概念。傳統(tǒng)計(jì)量經(jīng)濟(jì)學(xué)一般集中在統(tǒng)計(jì)推理方面，重視變量之間的相關(guān)性而忽視了當(dāng)中的因果關(guān)系；因果推斷則是將相關(guān)性與因果性進(jìn)行獨(dú)立分析，科學(xué)地識(shí)別變量間的因果關(guān)系。在機(jī)器學(xué)習(xí)領(lǐng)域也存在類(lèi)似的問(wèn)題，目前大多數(shù)機(jī)器學(xué)習(xí)模型注重各因素之間的相關(guān)性分析，由此衍生的“泛化性”和“可信性”正是當(dāng)前機(jī)器學(xué)習(xí)需要面對(duì)的兩大問(wèn)題。在大數(shù)據(jù)時(shí)代，人們認(rèn)為可以利用更大的機(jī)器或者更多數(shù)據(jù)解決問(wèn)題，但很多時(shí)候問(wèn)題的答案并不在數(shù)據(jù)中。這也正是機(jī)器學(xué)習(xí)難以在實(shí)際場(chǎng)景中應(yīng)用于決策的原因：機(jī)器學(xué)習(xí)存在缺乏可解釋性和未知環(huán)境下的穩(wěn)定性的問(wèn)題，既難以預(yù)測(cè)結(jié)構(gòu)變化之后的結(jié)果，也不能對(duì)結(jié)果進(jìn)行合理的解釋。
（人工智能的兩大問(wèn)題：缺乏可解釋性和穩(wěn)定性，來(lái)自崔鵬的報(bào)告ppt）Susan Athey在2017年為《Science》撰寫(xiě)的綜述性文章《Beyond Prediction：Using big data for policyproblems》中總結(jié)，在做出預(yù)測(cè)和做出決策之間存在許多差距，為了優(yōu)化數(shù)據(jù)驅(qū)動(dòng)的決策，需要理解基本假設(shè)。而這也正是解決機(jī)器學(xué)習(xí)兩大問(wèn)題的有效途徑。
（Susan 2017年為《Science》撰寫(xiě)的綜述性文章）在機(jī)器學(xué)習(xí)過(guò)程中帶來(lái)的關(guān)聯(lián)統(tǒng)計(jì)被認(rèn)為是導(dǎo)致目前的機(jī)器學(xué)習(xí)缺乏可解釋性和穩(wěn)定性的重要原因?，F(xiàn)有的大部分機(jī)器學(xué)習(xí)方法都需要IID假設(shè)，即訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)應(yīng)當(dāng)是獨(dú)立同分布的。然而在現(xiàn)實(shí)中這一假設(shè)很難滿(mǎn)足。以我們熟悉的圖片“貓狗檢測(cè)”為例，如果訓(xùn)練數(shù)據(jù)的大部分圖片中狗位于草地上，模型對(duì)“水中的狗”這一極端樣例的檢測(cè)可能會(huì)完全失效，甚至可能出現(xiàn)“指貓為狗”的錯(cuò)誤，把在草地上的貓錯(cuò)認(rèn)為狗。
當(dāng)下的人工智能技術(shù)往往不能很好地泛化到未知的環(huán)境，是因?yàn)楝F(xiàn)有大部分機(jī)器學(xué)習(xí)模型主要是關(guān)聯(lián)驅(qū)動(dòng)的，這些模型通常只做到了知其“然”（即關(guān)聯(lián)性）而不知其“所以然”（即因果性）。將因果推理的思想推廣到機(jī)器學(xué)習(xí)領(lǐng)域，去除關(guān)聯(lián)中的虛假關(guān)聯(lián)，使用因果關(guān)聯(lián)指導(dǎo)模型學(xué)習(xí)，是提升模型在未知環(huán)境下穩(wěn)定性根本路徑之一。值得一提的是，從因果角度出發(fā)，可解釋性和穩(wěn)定性之間存在一定的內(nèi)在關(guān)系，即通過(guò)優(yōu)化模型的穩(wěn)定性亦可提升其可解釋性，從而解決當(dāng)前人工智能技術(shù)在落地中面臨的困境。基于此，清華大學(xué)崔鵬團(tuán)隊(duì)從2016年起開(kāi)始深入研究如何將因果推理與機(jī)器學(xué)習(xí)相結(jié)合，并最終形成了“穩(wěn)定學(xué)習(xí)”（Stable Learning）的研究方向。穩(wěn)定學(xué)習(xí)有望彌補(bǔ)機(jī)器學(xué)習(xí)模型的“預(yù)測(cè)”到經(jīng)濟(jì)生活等現(xiàn)實(shí)“決策”之間的鴻溝，隨著對(duì)因果分析研究的進(jìn)一步深入，以穩(wěn)定學(xué)習(xí)為代表的因果分析建模技術(shù)將成為人工智能發(fā)展的突破口，幫助我們從數(shù)據(jù)中推斷出因果關(guān)系并進(jìn)行有效檢驗(yàn)，從而做出更好的決策。
穩(wěn)定學(xué)習(xí)：建立因果推理和機(jī)器學(xué)習(xí)的共識(shí)因果推理近年來(lái)在機(jī)器學(xué)習(xí)和人工智能領(lǐng)域引起了廣泛關(guān)注。它通常被定位為一個(gè)獨(dú)特的研究領(lǐng)域，可以將機(jī)器學(xué)習(xí)的范圍從預(yù)測(cè)建模擴(kuò)展到干預(yù)和決策。而從作者的角度來(lái)看，即便對(duì)于機(jī)器學(xué)習(xí)所擅長(zhǎng)的預(yù)測(cè)類(lèi)問(wèn)題，如果對(duì)預(yù)測(cè)穩(wěn)定性、可解釋性和公平性提出較高要求，那么因果統(tǒng)計(jì)的思想對(duì)于改善機(jī)器學(xué)習(xí)、預(yù)測(cè)建模也變得不可或缺?；诖?，作者提出了穩(wěn)定學(xué)習(xí)的概念和框架，以彌合因果推理中傳統(tǒng)精確建模與機(jī)器學(xué)習(xí)中的黑盒方法之間的鴻溝。本文闡明了機(jī)器學(xué)習(xí)模型的風(fēng)險(xiǎn)來(lái)源，討論了將因果關(guān)系引入機(jī)器學(xué)習(xí)的必要性，從因果推理和統(tǒng)計(jì)學(xué)習(xí)兩個(gè)視角闡述了穩(wěn)定學(xué)習(xí)的基本思想和最新進(jìn)展，并討論了穩(wěn)定學(xué)習(xí)與可解釋性和公平性問(wèn)題的關(guān)系。當(dāng)前機(jī)器學(xué)習(xí)的主要風(fēng)險(xiǎn)論文指出，機(jī)器學(xué)習(xí)技術(shù)的優(yōu)化目標(biāo)是預(yù)測(cè)的精度和效率，而錯(cuò)誤預(yù)測(cè)的潛在風(fēng)險(xiǎn)往往被忽視。對(duì)于預(yù)測(cè)點(diǎn)擊量或?qū)D像進(jìn)行分類(lèi)等應(yīng)用，模型可以頻繁更新，錯(cuò)誤的代價(jià)也不會(huì)太高。因此，這些應(yīng)用領(lǐng)域非常適合結(jié)合持續(xù)性能監(jiān)控的黑盒技術(shù)，這也是近年來(lái)機(jī)器學(xué)習(xí)得以快速發(fā)展的基礎(chǔ)。然而，近年來(lái)機(jī)器學(xué)習(xí)被應(yīng)用于醫(yī)療健康、工業(yè)制造、金融和司法等高風(fēng)險(xiǎn)領(lǐng)域，在這些領(lǐng)域，機(jī)器學(xué)習(xí)算法犯下的錯(cuò)誤可能會(huì)帶來(lái)巨大的風(fēng)險(xiǎn)。尤其是當(dāng)算法預(yù)測(cè)在決策過(guò)程中發(fā)揮重要作用時(shí)，錯(cuò)誤會(huì)對(duì)安全、道德和正義等社會(huì)問(wèn)題產(chǎn)生重大后果。因此，缺乏穩(wěn)定性、可解釋性和公平保障是當(dāng)今機(jī)器學(xué)習(xí)中亟需解決的最關(guān)鍵和最緊迫的議題。虛假相關(guān)性：風(fēng)險(xiǎn)的主要來(lái)源如圖所示，相關(guān)性有三種來(lái)源，即由因果性導(dǎo)致的相關(guān)性、干擾變量導(dǎo)致的相關(guān)性、由樣本選擇偏差導(dǎo)致的相關(guān)性。在這三種相關(guān)性中，只有由因果性導(dǎo)致的相關(guān)性是可以保證在各種環(huán)境下穩(wěn)定成立、且可以被解釋的。而目前的神經(jīng)網(wǎng)絡(luò)模型并沒(méi)有對(duì)特征是否存在因果性加以區(qū)分，這也是導(dǎo)致模型性能不穩(wěn)定的重要原因。
論文進(jìn)一步論述了機(jī)器學(xué)習(xí)可以避免由因果推理的基本問(wèn)題引起的可驗(yàn)證性等挑戰(zhàn)和局限性，并認(rèn)為，機(jī)器學(xué)習(xí)和因果推理之間應(yīng)該形成共識(shí)基礎(chǔ)，穩(wěn)定學(xué)習(xí)的框架正是實(shí)現(xiàn)這一目標(biāo)的路徑之一。穩(wěn)定學(xué)習(xí)：建立因果推理和機(jī)器學(xué)習(xí)的共識(shí)論文還進(jìn)一步闡述了穩(wěn)定學(xué)習(xí)的定位與發(fā)展脈絡(luò)，并比較了與常見(jiàn)的獨(dú)立同分布模型和遷移學(xué)習(xí)模型的異同：
獨(dú)立同分布模型的訓(xùn)練和測(cè)試都在相同分布的數(shù)據(jù)下完成，測(cè)試目標(biāo)是提升模型在測(cè)試集上的準(zhǔn)確度，對(duì)測(cè)試集環(huán)境有較高的要求；
遷移學(xué)習(xí)同樣期望提升模型在測(cè)試集上的準(zhǔn)確度，雖然允許測(cè)試集的樣本分布與訓(xùn)練集不同，但要求測(cè)試集樣本分布已知；
穩(wěn)定學(xué)習(xí)無(wú)需測(cè)試數(shù)據(jù)集與訓(xùn)練數(shù)據(jù)來(lái)自同一分布，并且不假設(shè)測(cè)試數(shù)據(jù)分布已知。測(cè)試目標(biāo)是在保證模型平均準(zhǔn)確度的前提下，降低模型性能在各種不同樣本分布下的準(zhǔn)確率方差。與上述學(xué)習(xí)模式相比，穩(wěn)定學(xué)習(xí)的目標(biāo)更接近現(xiàn)實(shí)的問(wèn)題設(shè)置，理論上，穩(wěn)定學(xué)習(xí)可以在不同分布的測(cè)試集下都有較好的性能表現(xiàn)。
文章最后提出，如果我們希望機(jī)器學(xué)習(xí)算法能被進(jìn)一步應(yīng)用，需要解決穩(wěn)定性、可解釋性和公平性問(wèn)題，而這些問(wèn)題是當(dāng)今學(xué)習(xí)范式的根本局限，需要從根本上加以解決。盡管業(yè)內(nèi)對(duì)預(yù)測(cè)、相關(guān)性和因果關(guān)系的基礎(chǔ)仍存在爭(zhēng)論，因果推理，尤其是在觀察研究中所取得的一些最新進(jìn)展已經(jīng)可以為機(jī)器學(xué)習(xí)提供更多的見(jiàn)解和理論支持。作為一種新的學(xué)習(xí)范式，穩(wěn)定學(xué)習(xí)試圖結(jié)合這兩個(gè)方向之間的共識(shí)基礎(chǔ)。如何合理地放松嚴(yán)格的假設(shè)，以匹配更多具有挑戰(zhàn)性的真實(shí)應(yīng)用場(chǎng)景，并在不犧牲預(yù)測(cè)能力的情況下使機(jī)器學(xué)習(xí)更可信，是未來(lái)穩(wěn)定學(xué)習(xí)需要解決的關(guān)鍵問(wèn)題。論文完整內(nèi)容參見(jiàn)Nature網(wǎng)站：https://www.nature.com/articles/s42256-022-00445-z清華大學(xué)長(zhǎng)聘副教授。于2010年獲得清華大學(xué)博士學(xué)位，研究興趣包括大數(shù)據(jù)環(huán)境下的因果推理與穩(wěn)定預(yù)測(cè)、網(wǎng)絡(luò)表征學(xué)習(xí)，及其在智慧醫(yī)療、商業(yè)決策等場(chǎng)景中的應(yīng)用。從2016年起，崔鵬與團(tuán)隊(duì)開(kāi)始深入研究如何將因果推理與機(jī)器學(xué)習(xí)相結(jié)合，并最終形成了“穩(wěn)定學(xué)習(xí)”（Stable Learning）的研究方向。他在數(shù)據(jù)挖掘和多媒體領(lǐng)域的著名會(huì)議和期刊上發(fā)表了150多篇論文，并先后獲得7項(xiàng)國(guó)際會(huì)議及期刊最佳論文獎(jiǎng)。曾獲得CCF-IEEE CS青年科學(xué)家獎(jiǎng)，國(guó)家自然科學(xué)二等獎(jiǎng)，以及省部級(jí)一等獎(jiǎng)3項(xiàng)。目前是ACM杰出會(huì)員，CCF杰出會(huì)員以及IEEE高級(jí)會(huì)員。
斯坦福大學(xué)商學(xué)院教授，美國(guó)科學(xué)院院士，美國(guó)藝術(shù)與科學(xué)院院士，美國(guó)經(jīng)濟(jì)學(xué)會(huì)主席，約翰·貝茨·克拉克獎(jiǎng)（該獎(jiǎng)項(xiàng)也被視為諾內(nèi)爾經(jīng)濟(jì)學(xué)獎(jiǎng)的風(fēng)向標(biāo)）的第一位女性獲得者。她曾在微軟擔(dān)任咨詢(xún)首席經(jīng)濟(jì)學(xué)家六年，目前是斯坦福大學(xué)斯坦福經(jīng)濟(jì)政策研究所高級(jí)研究員、以人為本人工智能研究所副主任、 Golub Capital 社會(huì)影響實(shí)驗(yàn)室主任。Susan Athey本科期間在杜克大學(xué)同時(shí)主修經(jīng)濟(jì)學(xué)、數(shù)學(xué)與計(jì)算機(jī)科學(xué)三個(gè)專(zhuān)業(yè)，目前專(zhuān)注于數(shù)字化經(jīng)濟(jì)學(xué)、市場(chǎng)設(shè)計(jì)以及計(jì)量經(jīng)濟(jì)學(xué)與機(jī)器學(xué)習(xí)領(lǐng)域的交叉領(lǐng)域研究，是因果領(lǐng)域的國(guó)際權(quán)威。雷峰網(wǎng)雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
