整理丨AI科技評論
2月23日，清華大學計算機系崔鵬副教授與斯坦福大學Susan Athey（美國科學院院士，因果領(lǐng)域國際權(quán)威）合作，在全球頂級期刊Nature Machine Intelligence（影響因子IF=15.51，2020）上發(fā)表題為“Stable Learning Establishes Some Common Ground Between Causal Inference and Machine Learning”（穩(wěn)定學習：建立因果推理和機器學習的共識）的觀點論文。深入探討和總結(jié)了因果推理在機器學習和人工智能領(lǐng)域取得的關(guān)注，并對“穩(wěn)定學習”提出了系統(tǒng)性分析和展望。文章認為，機器學習和因果推理之間應(yīng)該形成共識，而穩(wěn)定學習正在向?qū)崿F(xiàn)這一目標的方向邁進。
機器學習與經(jīng)濟學的碰撞，會產(chǎn)生什么樣的火花？人工智能的目標是讓機器像人類一樣“思考”和“決策”，機器學習是實現(xiàn)這一愿景的重要方法。那么，用機器學習的方法來解決現(xiàn)實中的決策問題是否可行？斯坦福大學的Susan Athey在一次演講中用身邊的例子進行了舉例：斯坦福大學的經(jīng)濟學系女教授的平均水平似乎比男教授更高，老是發(fā)不出文章的教授中女教授很少，但這很有可能是因為數(shù)據(jù)自身的局限性，如果通過機器學習的方法編寫程序按性別來篩選候選人，并用斯坦福的訓練數(shù)據(jù)去推而廣之，很有可能在實際中產(chǎn)生歧視。利用機器學習實現(xiàn)對一項政策效果進行更精準的推斷，這正是諾貝爾獎級別的研究成果——Susan Athey與她的丈夫Guido Imbens近年來關(guān)注的研究方向正是利用機器學習實現(xiàn)對政策效果更精準的推斷，并在融合機器學習與政策的處置效應(yīng)方面合作撰寫了多篇文章。而Guido Imbens2021年也因此與另兩位學者分享了當年的諾貝爾經(jīng)濟學獎，評獎委員會認為，他們在勞動經(jīng)濟學和從自然實驗中分析因果推理方面做出了突出貢獻，掀起了經(jīng)濟學研究的“可信革命”。所謂“因果推理”是計量經(jīng)濟學中近年來得到重視的一個重要概念。傳統(tǒng)計量經(jīng)濟學一般集中在統(tǒng)計推理方面，重視變量之間的相關(guān)性而忽視了當中的因果關(guān)系；因果推斷則是將相關(guān)性與因果性進行獨立分析，科學地識別變量間的因果關(guān)系。在機器學習領(lǐng)域也存在類似的問題，目前大多數(shù)機器學習模型注重各因素之間的相關(guān)性分析，由此衍生的“泛化性”和“可信性”正是當前機器學習需要面對的兩大問題。在大數(shù)據(jù)時代，人們認為可以利用更大的機器或者更多數(shù)據(jù)解決問題，但很多時候問題的答案并不在數(shù)據(jù)中。這也正是機器學習難以在實際場景中應(yīng)用于決策的原因：機器學習存在缺乏可解釋性和未知環(huán)境下的穩(wěn)定性的問題，既難以預(yù)測結(jié)構(gòu)變化之后的結(jié)果，也不能對結(jié)果進行合理的解釋。
（人工智能的兩大問題：缺乏可解釋性和穩(wěn)定性，來自崔鵬的報告ppt）Susan Athey在2017年為《Science》撰寫的綜述性文章《Beyond Prediction：Using big data for policyproblems》中總結(jié)，在做出預(yù)測和做出決策之間存在許多差距，為了優(yōu)化數(shù)據(jù)驅(qū)動的決策，需要理解基本假設(shè)。而這也正是解決機器學習兩大問題的有效途徑。
（Susan 2017年為《Science》撰寫的綜述性文章）在機器學習過程中帶來的關(guān)聯(lián)統(tǒng)計被認為是導(dǎo)致目前的機器學習缺乏可解釋性和穩(wěn)定性的重要原因。現(xiàn)有的大部分機器學習方法都需要IID假設(shè)，即訓練數(shù)據(jù)和測試數(shù)據(jù)應(yīng)當是獨立同分布的。然而在現(xiàn)實中這一假設(shè)很難滿足。以我們熟悉的圖片“貓狗檢測”為例，如果訓練數(shù)據(jù)的大部分圖片中狗位于草地上，模型對“水中的狗”這一極端樣例的檢測可能會完全失效，甚至可能出現(xiàn)“指貓為狗”的錯誤，把在草地上的貓錯認為狗。
當下的人工智能技術(shù)往往不能很好地泛化到未知的環(huán)境，是因為現(xiàn)有大部分機器學習模型主要是關(guān)聯(lián)驅(qū)動的，這些模型通常只做到了知其“然”（即關(guān)聯(lián)性）而不知其“所以然”（即因果性）。將因果推理的思想推廣到機器學習領(lǐng)域，去除關(guān)聯(lián)中的虛假關(guān)聯(lián)，使用因果關(guān)聯(lián)指導(dǎo)模型學習，是提升模型在未知環(huán)境下穩(wěn)定性根本路徑之一。值得一提的是，從因果角度出發(fā)，可解釋性和穩(wěn)定性之間存在一定的內(nèi)在關(guān)系，即通過優(yōu)化模型的穩(wěn)定性亦可提升其可解釋性，從而解決當前人工智能技術(shù)在落地中面臨的困境。基于此，清華大學崔鵬團隊從2016年起開始深入研究如何將因果推理與機器學習相結(jié)合，并最終形成了“穩(wěn)定學習”（Stable Learning）的研究方向。穩(wěn)定學習有望彌補機器學習模型的“預(yù)測”到經(jīng)濟生活等現(xiàn)實“決策”之間的鴻溝，隨著對因果分析研究的進一步深入，以穩(wěn)定學習為代表的因果分析建模技術(shù)將成為人工智能發(fā)展的突破口，幫助我們從數(shù)據(jù)中推斷出因果關(guān)系并進行有效檢驗，從而做出更好的決策。因果推理近年來在機器學習和人工智能領(lǐng)域引起了廣泛關(guān)注。它通常被定位為一個獨特的研究領(lǐng)域，可以將機器學習的范圍從預(yù)測建模擴展到干預(yù)和決策。而從作者的角度來看，即便對于機器學習所擅長的預(yù)測類問題，如果對預(yù)測穩(wěn)定性、可解釋性和公平性提出較高要求，那么因果統(tǒng)計的思想對于改善機器學習、預(yù)測建模也變得不可或缺?；诖耍髡咛岢隽朔€(wěn)定學習的概念和框架，以彌合因果推理中傳統(tǒng)精確建模與機器學習中的黑盒方法之間的鴻溝。本文闡明了機器學習模型的風險來源，討論了將因果關(guān)系引入機器學習的必要性，從因果推理和統(tǒng)計學習兩個視角闡述了穩(wěn)定學習的基本思想和最新進展，并討論了穩(wěn)定學習與可解釋性和公平性問題的關(guān)系。論文指出，機器學習技術(shù)的優(yōu)化目標是預(yù)測的精度和效率，而錯誤預(yù)測的潛在風險往往被忽視。對于預(yù)測點擊量或?qū)D像進行分類等應(yīng)用，模型可以頻繁更新，錯誤的代價也不會太高。因此，這些應(yīng)用領(lǐng)域非常適合結(jié)合持續(xù)性能監(jiān)控的黑盒技術(shù)，這也是近年來機器學習得以快速發(fā)展的基礎(chǔ)。然而，近年來機器學習被應(yīng)用于醫(yī)療健康、工業(yè)制造、金融和司法等高風險領(lǐng)域，在這些領(lǐng)域，機器學習算法犯下的錯誤可能會帶來巨大的風險。尤其是當算法預(yù)測在決策過程中發(fā)揮重要作用時，錯誤會對安全、道德和正義等社會問題產(chǎn)生重大后果。因此，缺乏穩(wěn)定性、可解釋性和公平保障是當今機器學習中亟需解決的最關(guān)鍵和最緊迫的議題。如圖所示，相關(guān)性有三種來源，即由因果性導(dǎo)致的相關(guān)性、干擾變量導(dǎo)致的相關(guān)性、由樣本選擇偏差導(dǎo)致的相關(guān)性。在這三種相關(guān)性中，只有由因果性導(dǎo)致的相關(guān)性是可以保證在各種環(huán)境下穩(wěn)定成立、且可以被解釋的。而目前的神經(jīng)網(wǎng)絡(luò)模型并沒有對特征是否存在因果性加以區(qū)分，這也是導(dǎo)致模型性能不穩(wěn)定的重要原因。
論文進一步論述了機器學習可以避免由因果推理的基本問題引起的可驗證性等挑戰(zhàn)和局限性，并認為，機器學習和因果推理之間應(yīng)該形成共識基礎(chǔ)，穩(wěn)定學習的框架正是實現(xiàn)這一目標的路徑之一。論文還進一步闡述了穩(wěn)定學習的定位與發(fā)展脈絡(luò)，并比較了與常見的獨立同分布模型和遷移學習模型的異同：
獨立同分布模型的訓練和測試都在相同分布的數(shù)據(jù)下完成，測試目標是提升模型在測試集上的準確度，對測試集環(huán)境有較高的要求；
遷移學習同樣期望提升模型在測試集上的準確度，雖然允許測試集的樣本分布與訓練集不同，但要求測試集樣本分布已知；
穩(wěn)定學習無需測試數(shù)據(jù)集與訓練數(shù)據(jù)來自同一分布，并且不假設(shè)測試數(shù)據(jù)分布已知。測試目標是在保證模型平均準確度的前提下，降低模型性能在各種不同樣本分布下的準確率方差。與上述學習模式相比，穩(wěn)定學習的目標更接近現(xiàn)實的問題設(shè)置，理論上，穩(wěn)定學習可以在不同分布的測試集下都有較好的性能表現(xiàn)。
文章最后提出，如果我們希望機器學習算法能被進一步應(yīng)用，需要解決穩(wěn)定性、可解釋性和公平性問題，而這些問題是當今學習范式的根本局限，需要從根本上加以解決。盡管業(yè)內(nèi)對預(yù)測、相關(guān)性和因果關(guān)系的基礎(chǔ)仍存在爭論，因果推理，尤其是在觀察研究中所取得的一些最新進展已經(jīng)可以為機器學習提供更多的見解和理論支持。作為一種新的學習范式，穩(wěn)定學習試圖結(jié)合這兩個方向之間的共識基礎(chǔ)。如何合理地放松嚴格的假設(shè)，以匹配更多具有挑戰(zhàn)性的真實應(yīng)用場景，并在不犧牲預(yù)測能力的情況下使機器學習更可信，是未來穩(wěn)定學習需要解決的關(guān)鍵問題。論文完整內(nèi)容參見Nature網(wǎng)站：https://www.nature.com/articles/s42256-022-00445-z清華大學長聘副教授。于2010年獲得清華大學博士學位，研究興趣包括大數(shù)據(jù)環(huán)境下的因果推理與穩(wěn)定預(yù)測、網(wǎng)絡(luò)表征學習，及其在智慧醫(yī)療、商業(yè)決策等場景中的應(yīng)用。從2016年起，崔鵬與團隊開始深入研究如何將因果推理與機器學習相結(jié)合，并最終形成了“穩(wěn)定學習”（Stable Learning）的研究方向。他在數(shù)據(jù)挖掘和多媒體領(lǐng)域的著名會議和期刊上發(fā)表了150多篇論文，并先后獲得7項國際會議及期刊最佳論文獎。曾獲得CCF-IEEE CS青年科學家獎，國家自然科學二等獎，以及省部級一等獎3項。目前是ACM杰出會員，CCF杰出會員以及IEEE高級會員。斯坦福大學商學院教授，美國科學院院士，美國藝術(shù)與科學院院士，美國經(jīng)濟學會主席，約翰·貝茨·克拉克獎（該獎項也被視為諾內(nèi)爾經(jīng)濟學獎的風向標）的第一位女性獲得者。她曾在微軟擔任咨詢首席經(jīng)濟學家六年，目前是斯坦福大學斯坦福經(jīng)濟政策研究所高級研究員、以人為本人工智能研究所副主任、 Golub Capital 社會影響實驗室主任。Susan Athey本科期間在杜克大學同時主修經(jīng)濟學、數(shù)學與計算機科學三個專業(yè)，目前專注于數(shù)字化經(jīng)濟學、市場設(shè)計以及計量經(jīng)濟學與機器學習領(lǐng)域的交叉領(lǐng)域研究，是因果領(lǐng)域的國際權(quán)威。雷峰網(wǎng)雷峰網(wǎng)(公眾號：雷峰網(wǎng))
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
