整理丨AI科技評論
2月23日，清華大學(xué)計(jì)算機(jī)系崔鵬副教授與斯坦福大學(xué)Susan Athey（美國科學(xué)院院士，因果領(lǐng)域國際權(quán)威）合作，在全球頂級期刊Nature Machine Intelligence（影響因子IF=15.51，2020）上發(fā)表題為“Stable Learning Establishes Some Common Ground Between Causal Inference and Machine Learning”（穩(wěn)定學(xué)習(xí)：建立因果推理和機(jī)器學(xué)習(xí)的共識）的觀點(diǎn)論文。深入探討和總結(jié)了因果推理在機(jī)器學(xué)習(xí)和人工智能領(lǐng)域取得的關(guān)注，并對“穩(wěn)定學(xué)習(xí)”提出了系統(tǒng)性分析和展望。文章認(rèn)為，機(jī)器學(xué)習(xí)和因果推理之間應(yīng)該形成共識，而穩(wěn)定學(xué)習(xí)正在向?qū)崿F(xiàn)這一目標(biāo)的方向邁進(jìn)。
機(jī)器學(xué)習(xí)與經(jīng)濟(jì)學(xué)的碰撞，會產(chǎn)生什么樣的火花？人工智能的目標(biāo)是讓機(jī)器像人類一樣“思考”和“決策”，機(jī)器學(xué)習(xí)是實(shí)現(xiàn)這一愿景的重要方法。那么，用機(jī)器學(xué)習(xí)的方法來解決現(xiàn)實(shí)中的決策問題是否可行？斯坦福大學(xué)的Susan Athey在一次演講中用身邊的例子進(jìn)行了舉例：斯坦福大學(xué)的經(jīng)濟(jì)學(xué)系女教授的平均水平似乎比男教授更高，老是發(fā)不出文章的教授中女教授很少，但這很有可能是因?yàn)閿?shù)據(jù)自身的局限性，如果通過機(jī)器學(xué)習(xí)的方法編寫程序按性別來篩選候選人，并用斯坦福的訓(xùn)練數(shù)據(jù)去推而廣之，很有可能在實(shí)際中產(chǎn)生歧視。利用機(jī)器學(xué)習(xí)實(shí)現(xiàn)對一項(xiàng)政策效果進(jìn)行更精準(zhǔn)的推斷，這正是諾貝爾獎級別的研究成果——Susan Athey與她的丈夫Guido Imbens近年來關(guān)注的研究方向正是利用機(jī)器學(xué)習(xí)實(shí)現(xiàn)對政策效果更精準(zhǔn)的推斷，并在融合機(jī)器學(xué)習(xí)與政策的處置效應(yīng)方面合作撰寫了多篇文章。而Guido Imbens2021年也因此與另兩位學(xué)者分享了當(dāng)年的諾貝爾經(jīng)濟(jì)學(xué)獎，評獎委員會認(rèn)為，他們在勞動經(jīng)濟(jì)學(xué)和從自然實(shí)驗(yàn)中分析因果推理方面做出了突出貢獻(xiàn)，掀起了經(jīng)濟(jì)學(xué)研究的“可信革命”。所謂“因果推理”是計(jì)量經(jīng)濟(jì)學(xué)中近年來得到重視的一個重要概念。傳統(tǒng)計(jì)量經(jīng)濟(jì)學(xué)一般集中在統(tǒng)計(jì)推理方面，重視變量之間的相關(guān)性而忽視了當(dāng)中的因果關(guān)系；因果推斷則是將相關(guān)性與因果性進(jìn)行獨(dú)立分析，科學(xué)地識別變量間的因果關(guān)系。在機(jī)器學(xué)習(xí)領(lǐng)域也存在類似的問題，目前大多數(shù)機(jī)器學(xué)習(xí)模型注重各因素之間的相關(guān)性分析，由此衍生的“泛化性”和“可信性”正是當(dāng)前機(jī)器學(xué)習(xí)需要面對的兩大問題。在大數(shù)據(jù)時代，人們認(rèn)為可以利用更大的機(jī)器或者更多數(shù)據(jù)解決問題，但很多時候問題的答案并不在數(shù)據(jù)中。這也正是機(jī)器學(xué)習(xí)難以在實(shí)際場景中應(yīng)用于決策的原因：機(jī)器學(xué)習(xí)存在缺乏可解釋性和未知環(huán)境下的穩(wěn)定性的問題，既難以預(yù)測結(jié)構(gòu)變化之后的結(jié)果，也不能對結(jié)果進(jìn)行合理的解釋。
（人工智能的兩大問題：缺乏可解釋性和穩(wěn)定性，來自崔鵬的報告ppt）Susan Athey在2017年為《Science》撰寫的綜述性文章《Beyond Prediction：Using big data for policyproblems》中總結(jié)，在做出預(yù)測和做出決策之間存在許多差距，為了優(yōu)化數(shù)據(jù)驅(qū)動的決策，需要理解基本假設(shè)。而這也正是解決機(jī)器學(xué)習(xí)兩大問題的有效途徑。
（Susan 2017年為《Science》撰寫的綜述性文章）在機(jī)器學(xué)習(xí)過程中帶來的關(guān)聯(lián)統(tǒng)計(jì)被認(rèn)為是導(dǎo)致目前的機(jī)器學(xué)習(xí)缺乏可解釋性和穩(wěn)定性的重要原因。現(xiàn)有的大部分機(jī)器學(xué)習(xí)方法都需要IID假設(shè)，即訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)應(yīng)當(dāng)是獨(dú)立同分布的。然而在現(xiàn)實(shí)中這一假設(shè)很難滿足。以我們熟悉的圖片“貓狗檢測”為例，如果訓(xùn)練數(shù)據(jù)的大部分圖片中狗位于草地上，模型對“水中的狗”這一極端樣例的檢測可能會完全失效，甚至可能出現(xiàn)“指貓為狗”的錯誤，把在草地上的貓錯認(rèn)為狗。
當(dāng)下的人工智能技術(shù)往往不能很好地泛化到未知的環(huán)境，是因?yàn)楝F(xiàn)有大部分機(jī)器學(xué)習(xí)模型主要是關(guān)聯(lián)驅(qū)動的，這些模型通常只做到了知其“然”（即關(guān)聯(lián)性）而不知其“所以然”（即因果性）。將因果推理的思想推廣到機(jī)器學(xué)習(xí)領(lǐng)域，去除關(guān)聯(lián)中的虛假關(guān)聯(lián)，使用因果關(guān)聯(lián)指導(dǎo)模型學(xué)習(xí)，是提升模型在未知環(huán)境下穩(wěn)定性根本路徑之一。值得一提的是，從因果角度出發(fā)，可解釋性和穩(wěn)定性之間存在一定的內(nèi)在關(guān)系，即通過優(yōu)化模型的穩(wěn)定性亦可提升其可解釋性，從而解決當(dāng)前人工智能技術(shù)在落地中面臨的困境。基于此，清華大學(xué)崔鵬團(tuán)隊(duì)從2016年起開始深入研究如何將因果推理與機(jī)器學(xué)習(xí)相結(jié)合，并最終形成了“穩(wěn)定學(xué)習(xí)”（Stable Learning）的研究方向。穩(wěn)定學(xué)習(xí)有望彌補(bǔ)機(jī)器學(xué)習(xí)模型的“預(yù)測”到經(jīng)濟(jì)生活等現(xiàn)實(shí)“決策”之間的鴻溝，隨著對因果分析研究的進(jìn)一步深入，以穩(wěn)定學(xué)習(xí)為代表的因果分析建模技術(shù)將成為人工智能發(fā)展的突破口，幫助我們從數(shù)據(jù)中推斷出因果關(guān)系并進(jìn)行有效檢驗(yàn)，從而做出更好的決策。
穩(wěn)定學(xué)習(xí)：建立因果推理和機(jī)器學(xué)習(xí)的共識因果推理近年來在機(jī)器學(xué)習(xí)和人工智能領(lǐng)域引起了廣泛關(guān)注。它通常被定位為一個獨(dú)特的研究領(lǐng)域，可以將機(jī)器學(xué)習(xí)的范圍從預(yù)測建模擴(kuò)展到干預(yù)和決策。而從作者的角度來看，即便對于機(jī)器學(xué)習(xí)所擅長的預(yù)測類問題，如果對預(yù)測穩(wěn)定性、可解釋性和公平性提出較高要求，那么因果統(tǒng)計(jì)的思想對于改善機(jī)器學(xué)習(xí)、預(yù)測建模也變得不可或缺。基于此，作者提出了穩(wěn)定學(xué)習(xí)的概念和框架，以彌合因果推理中傳統(tǒng)精確建模與機(jī)器學(xué)習(xí)中的黑盒方法之間的鴻溝。本文闡明了機(jī)器學(xué)習(xí)模型的風(fēng)險來源，討論了將因果關(guān)系引入機(jī)器學(xué)習(xí)的必要性，從因果推理和統(tǒng)計(jì)學(xué)習(xí)兩個視角闡述了穩(wěn)定學(xué)習(xí)的基本思想和最新進(jìn)展，并討論了穩(wěn)定學(xué)習(xí)與可解釋性和公平性問題的關(guān)系。當(dāng)前機(jī)器學(xué)習(xí)的主要風(fēng)險論文指出，機(jī)器學(xué)習(xí)技術(shù)的優(yōu)化目標(biāo)是預(yù)測的精度和效率，而錯誤預(yù)測的潛在風(fēng)險往往被忽視。對于預(yù)測點(diǎn)擊量或?qū)D像進(jìn)行分類等應(yīng)用，模型可以頻繁更新，錯誤的代價也不會太高。因此，這些應(yīng)用領(lǐng)域非常適合結(jié)合持續(xù)性能監(jiān)控的黑盒技術(shù)，這也是近年來機(jī)器學(xué)習(xí)得以快速發(fā)展的基礎(chǔ)。然而，近年來機(jī)器學(xué)習(xí)被應(yīng)用于醫(yī)療健康、工業(yè)制造、金融和司法等高風(fēng)險領(lǐng)域，在這些領(lǐng)域，機(jī)器學(xué)習(xí)算法犯下的錯誤可能會帶來巨大的風(fēng)險。尤其是當(dāng)算法預(yù)測在決策過程中發(fā)揮重要作用時，錯誤會對安全、道德和正義等社會問題產(chǎn)生重大后果。因此，缺乏穩(wěn)定性、可解釋性和公平保障是當(dāng)今機(jī)器學(xué)習(xí)中亟需解決的最關(guān)鍵和最緊迫的議題。虛假相關(guān)性：風(fēng)險的主要來源如圖所示，相關(guān)性有三種來源，即由因果性導(dǎo)致的相關(guān)性、干擾變量導(dǎo)致的相關(guān)性、由樣本選擇偏差導(dǎo)致的相關(guān)性。在這三種相關(guān)性中，只有由因果性導(dǎo)致的相關(guān)性是可以保證在各種環(huán)境下穩(wěn)定成立、且可以被解釋的。而目前的神經(jīng)網(wǎng)絡(luò)模型并沒有對特征是否存在因果性加以區(qū)分，這也是導(dǎo)致模型性能不穩(wěn)定的重要原因。
論文進(jìn)一步論述了機(jī)器學(xué)習(xí)可以避免由因果推理的基本問題引起的可驗(yàn)證性等挑戰(zhàn)和局限性，并認(rèn)為，機(jī)器學(xué)習(xí)和因果推理之間應(yīng)該形成共識基礎(chǔ)，穩(wěn)定學(xué)習(xí)的框架正是實(shí)現(xiàn)這一目標(biāo)的路徑之一。穩(wěn)定學(xué)習(xí)：建立因果推理和機(jī)器學(xué)習(xí)的共識論文還進(jìn)一步闡述了穩(wěn)定學(xué)習(xí)的定位與發(fā)展脈絡(luò)，并比較了與常見的獨(dú)立同分布模型和遷移學(xué)習(xí)模型的異同：
獨(dú)立同分布模型的訓(xùn)練和測試都在相同分布的數(shù)據(jù)下完成，測試目標(biāo)是提升模型在測試集上的準(zhǔn)確度，對測試集環(huán)境有較高的要求；
遷移學(xué)習(xí)同樣期望提升模型在測試集上的準(zhǔn)確度，雖然允許測試集的樣本分布與訓(xùn)練集不同，但要求測試集樣本分布已知；
穩(wěn)定學(xué)習(xí)無需測試數(shù)據(jù)集與訓(xùn)練數(shù)據(jù)來自同一分布，并且不假設(shè)測試數(shù)據(jù)分布已知。測試目標(biāo)是在保證模型平均準(zhǔn)確度的前提下，降低模型性能在各種不同樣本分布下的準(zhǔn)確率方差。與上述學(xué)習(xí)模式相比，穩(wěn)定學(xué)習(xí)的目標(biāo)更接近現(xiàn)實(shí)的問題設(shè)置，理論上，穩(wěn)定學(xué)習(xí)可以在不同分布的測試集下都有較好的性能表現(xiàn)。
文章最后提出，如果我們希望機(jī)器學(xué)習(xí)算法能被進(jìn)一步應(yīng)用，需要解決穩(wěn)定性、可解釋性和公平性問題，而這些問題是當(dāng)今學(xué)習(xí)范式的根本局限，需要從根本上加以解決。盡管業(yè)內(nèi)對預(yù)測、相關(guān)性和因果關(guān)系的基礎(chǔ)仍存在爭論，因果推理，尤其是在觀察研究中所取得的一些最新進(jìn)展已經(jīng)可以為機(jī)器學(xué)習(xí)提供更多的見解和理論支持。作為一種新的學(xué)習(xí)范式，穩(wěn)定學(xué)習(xí)試圖結(jié)合這兩個方向之間的共識基礎(chǔ)。如何合理地放松嚴(yán)格的假設(shè)，以匹配更多具有挑戰(zhàn)性的真實(shí)應(yīng)用場景，并在不犧牲預(yù)測能力的情況下使機(jī)器學(xué)習(xí)更可信，是未來穩(wěn)定學(xué)習(xí)需要解決的關(guān)鍵問題。論文完整內(nèi)容參見Nature網(wǎng)站：https://www.nature.com/articles/s42256-022-00445-z清華大學(xué)長聘副教授。于2010年獲得清華大學(xué)博士學(xué)位，研究興趣包括大數(shù)據(jù)環(huán)境下的因果推理與穩(wěn)定預(yù)測、網(wǎng)絡(luò)表征學(xué)習(xí)，及其在智慧醫(yī)療、商業(yè)決策等場景中的應(yīng)用。從2016年起，崔鵬與團(tuán)隊(duì)開始深入研究如何將因果推理與機(jī)器學(xué)習(xí)相結(jié)合，并最終形成了“穩(wěn)定學(xué)習(xí)”（Stable Learning）的研究方向。他在數(shù)據(jù)挖掘和多媒體領(lǐng)域的著名會議和期刊上發(fā)表了150多篇論文，并先后獲得7項(xiàng)國際會議及期刊最佳論文獎。曾獲得CCF-IEEE CS青年科學(xué)家獎，國家自然科學(xué)二等獎，以及省部級一等獎3項(xiàng)。目前是ACM杰出會員，CCF杰出會員以及IEEE高級會員。斯坦福大學(xué)商學(xué)院教授，美國科學(xué)院院士，美國藝術(shù)與科學(xué)院院士，美國經(jīng)濟(jì)學(xué)會主席，約翰·貝茨·克拉克獎（該獎項(xiàng)也被視為諾內(nèi)爾經(jīng)濟(jì)學(xué)獎的風(fēng)向標(biāo)）的第一位女性獲得者。她曾在微軟擔(dān)任咨詢首席經(jīng)濟(jì)學(xué)家六年，目前是斯坦福大學(xué)斯坦福經(jīng)濟(jì)政策研究所高級研究員、以人為本人工智能研究所副主任、 Golub Capital 社會影響實(shí)驗(yàn)室主任。Susan Athey本科期間在杜克大學(xué)同時主修經(jīng)濟(jì)學(xué)、數(shù)學(xué)與計(jì)算機(jī)科學(xué)三個專業(yè)，目前專注于數(shù)字化經(jīng)濟(jì)學(xué)、市場設(shè)計(jì)以及計(jì)量經(jīng)濟(jì)學(xué)與機(jī)器學(xué)習(xí)領(lǐng)域的交叉領(lǐng)域研究，是因果領(lǐng)域的國際權(quán)威。雷峰網(wǎng)雷峰網(wǎng)(公眾號：雷峰網(wǎng))
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
