0
（雷鋒網(wǎng)出品）
統(tǒng)計(jì)學(xué)和機(jī)器學(xué)習(xí)之間是否涇渭分明一直學(xué)界爭論的焦點(diǎn)。
有的學(xué)者認(rèn)為機(jī)器學(xué)習(xí)只是統(tǒng)計(jì)學(xué)披了一層光鮮的外衣。而另一些討論則認(rèn)為涉及使用邏輯回歸或者廣義線性模型（GLM）的可以稱作機(jī)器學(xué)習(xí)；否則就不是。
還有一些觀點(diǎn)認(rèn)為：是否執(zhí)行元分析或許是區(qū)分兩個(gè)領(lǐng)域的一個(gè)標(biāo)準(zhǔn)。
但，爭論兩者之間的邊界，真的有意義嗎？如果對這個(gè)問題進(jìn)行嚴(yán)肅地思考，或許我們會發(fā)現(xiàn)，答案是否定的。
麻省理工Sam Finlayson 博士指出“過去關(guān)于機(jī)器學(xué)習(xí)和統(tǒng)計(jì)學(xué)之間的討論很大程度上沒有切中要害，因?yàn)檫@些討論要么忽略了歷史背景、要么‘回歸方法’歸屬模棱兩可”，因此這種爭論事實(shí)上毫無意義。
達(dá)特茅斯會議期間合影 數(shù)千年來，研究者們一直夢想建造“智能”設(shè)備，但“人工智能”一詞卻是到1956年才出現(xiàn)。John McCarthy 在當(dāng)時(shí)的達(dá)特茅斯會議上提出這個(gè)術(shù)語，并將人工智能定義為：制造智能機(jī)器的科學(xué)和工程。
至此之后，人工之智能術(shù)語使用并流行到了今天。
而McCarthy能在會議上說服參會者使用這一術(shù)語很大程度上因?yàn)檫@個(gè)定義本身就是非常模糊的。
在那個(gè)年代，致力于“智能”的科學(xué)家們的研究視角還未轉(zhuǎn)向“數(shù)據(jù)驅(qū)動”，而是專注于自動機(jī)理論、形式邏輯和控制論等東西。
也就 是說McCarthy當(dāng)時(shí)想要創(chuàng)造一個(gè)術(shù)語來容納所有這些范式，而不是傾向于任何特定的方法。
正是在這種情況下，Arthur Samuel（達(dá)特茅斯會議的與會者之一）在1959年提出了“機(jī)器學(xué)習(xí)”一詞，并將其定義為一種研究領(lǐng)域，即不進(jìn)行顯式編程就可讓計(jì)算機(jī)進(jìn)行學(xué)習(xí)的研究領(lǐng)域。
之所以有此定義是因?yàn)镾amuels和他的同事們希望通過讓計(jì)算機(jī)擁有識別能力，并隨著時(shí)間的推移不斷改進(jìn)這種能力來使得計(jì)算機(jī)變得更加“智能”。
在今天看來，這種研究方法似乎并不陌生，但先驅(qū)們卻花費(fèi)了數(shù)十年才讓其成為AI研究的主導(dǎo)范式。
從當(dāng)時(shí)研究者的意圖來看，機(jī)器學(xué)習(xí)是為了描述計(jì)算機(jī)的設(shè)計(jì)過程而創(chuàng)建的，該過程利用統(tǒng)計(jì)方法來改善性能。 也就是說該術(shù)語是旨在與構(gòu)建智能機(jī)器的非數(shù)據(jù)驅(qū)動方法形成對比，不是為了與統(tǒng)計(jì)學(xué)形成對比。
畢竟統(tǒng)計(jì)學(xué)重點(diǎn)使用數(shù)據(jù)驅(qū)動的方法為人類提供有效信息。
另一個(gè)被普遍認(rèn)可的機(jī)器學(xué)習(xí)的定義來自于Tom M.Mitchell 在 1997年出版的教科書，他在書中提到：“機(jī)器學(xué)習(xí)領(lǐng)域涉及如何讓計(jì)算機(jī)程序通過經(jīng)驗(yàn)而自動改進(jìn)的一類問題”。
另外，書中還有一個(gè)半正式定義： 對于某類任務(wù) T 和性能度量 P，計(jì)算機(jī)程序從經(jīng)驗(yàn) E 中學(xué)習(xí)，然后它在任務(wù) T 中的性能 P 隨著經(jīng)驗(yàn) E 的提高而提高。
當(dāng)前許多人試圖在統(tǒng)計(jì)方法和機(jī)器方法之間用二分法強(qiáng)硬的劃定界限，但這顯然是一種獨(dú)裁的專制。
有的人特別執(zhí)著的認(rèn)為：回歸驅(qū)動的研究方法是統(tǒng)計(jì)學(xué)專屬，無論如何不能稱作機(jī)器學(xué)習(xí)。
此類觀點(diǎn)其實(shí)比目前“邏輯回歸等于計(jì)量經(jīng)濟(jì)學(xué)”的觀點(diǎn)還要愚蠢，兩者同樣挑起了激烈的爭論。
六十年來機(jī)器學(xué)習(xí)社區(qū)一直在致力于“更好的計(jì)算機(jī)”，而并不關(guān)心是奇妙的方法還是統(tǒng)計(jì)數(shù)據(jù)哪個(gè)更優(yōu)。
這也是為什么大多數(shù)教授在機(jī)器學(xué)習(xí)課程教學(xué)的時(shí)候，花大精力來教授廣義線性模型及其變體。
所以說統(tǒng)計(jì)學(xué)在機(jī)器學(xué)習(xí)和人工智能的研究背景下是非常有意義的，機(jī)器學(xué)習(xí)術(shù)語涉及不同的方法，并致力于讓“程序”變得智能。 坦率地說，任何段位的統(tǒng)計(jì)學(xué)家都不能斷言“脫離實(shí)際研究背景的統(tǒng)計(jì)學(xué)方法是有用的”。
回歸方法歸屬之爭其實(shí)在很大程度上同時(shí)低估了機(jī)器學(xué)習(xí)和統(tǒng)計(jì)，原因大致可以歸納為以下四個(gè)：
1.限制了經(jīng)典統(tǒng)計(jì)方法在構(gòu)建計(jì)算機(jī)程序方面所能發(fā)揮的核心作用；
2.忽略了機(jī)器學(xué)習(xí)對統(tǒng)計(jì)學(xué)的影響，實(shí)際上人工智能和計(jì)算機(jī)學(xué)科很大程度促進(jìn)了統(tǒng)計(jì)學(xué)的復(fù)興。例如Judea Pearl的因果關(guān)系開辟了新的統(tǒng)計(jì)學(xué)范式；
3.統(tǒng)計(jì)學(xué)和機(jī)器學(xué)習(xí)之間“強(qiáng)硬”的二分法在一定程度上弱化了建模決策中的重要信息，并且這種分類有時(shí)候毫無意義。
4.當(dāng)前機(jī)器學(xué)習(xí)和統(tǒng)計(jì)學(xué)的頂級研究學(xué)者大多同時(shí)屬于這兩個(gè)領(lǐng)域。
其實(shí)，當(dāng)前有很多研究都突出了統(tǒng)計(jì)學(xué)家與機(jī)器學(xué)習(xí)研究人員的豐富互動，例如著名學(xué)者Rob Tibshirani和Trevor Hastie沒有糾結(jié)于方法論的邊界線，而是利用機(jī)器學(xué)習(xí)研究人員開發(fā)的工具，從而幫助完善統(tǒng)計(jì)學(xué)領(lǐng)域的研究。并不是說Hastie和Tibs發(fā)明了新方法，而是意味著這些方法已經(jīng)影響了統(tǒng)計(jì)學(xué)家和機(jī)器學(xué)習(xí)研究人員的日常工作。
3、許多“爭論”在開始之前就已注定失敗
目標(biāo)的不同導(dǎo)致了方法和文化的差異，這也是為什么“機(jī)器學(xué)習(xí)”一詞的含義自誕生以來發(fā)生了如此大的變化。
語言中的脫節(jié)讓許多“爭論”在開始之前就已注定失敗。
如上文所述，機(jī)器學(xué)習(xí)這一研究領(lǐng)域之所以得以創(chuàng)立，便是由于計(jì)算機(jī)科學(xué)家試圖創(chuàng)建和理解智能計(jì)算機(jī)系統(tǒng)，至今依舊如此。
主要的機(jī)器學(xué)習(xí)應(yīng)用包括語音識別、計(jì)算機(jī)視覺、機(jī)器人/自動系統(tǒng)、計(jì)算廣告、監(jiān)控、聊天機(jī)器人等等。在嘗試解決這些問題的過程中，機(jī)器學(xué)習(xí)研究者基本總是先從嘗試經(jīng)典的統(tǒng)計(jì)學(xué)方法開始，例如相對簡單的廣義線性模型（GLM）。
當(dāng)然，長年累月，計(jì)算機(jī)科學(xué)家也不斷提出了新的方法，讓機(jī)器學(xué)習(xí)這一工具日益強(qiáng)大。
與其他任意背景下的進(jìn)化一樣，用于機(jī)器學(xué)習(xí)的統(tǒng)計(jì)學(xué)方法，其進(jìn)化史也是在“物競天擇”的壓力下所形成的。 與統(tǒng)計(jì)學(xué)家相比，機(jī)器學(xué)習(xí)研究者往往很少關(guān)注：理解算法背后所執(zhí)行的所有具體動作。這一點(diǎn)其實(shí)非常重要，并且越來越重要。
雷鋒網(wǎng)制圖
他們通常最關(guān)注的是模型誤差。這樣就導(dǎo)致機(jī)器學(xué)習(xí)研究者開發(fā)的方法往往會更加靈活，甚至不惜以犧牲可解釋性為代價(jià)來實(shí)現(xiàn)更高的靈活性。 這種離散式的進(jìn)化，就很容易讓機(jī)器學(xué)習(xí)和完全基于方法的統(tǒng)計(jì)學(xué)研究之間的界限變得模糊。
此外，也導(dǎo)致不少統(tǒng)計(jì)學(xué)家并不了解機(jī)器學(xué)習(xí)的歷史。因此毫不驚訝地，他們會熱衷于采用任何其他的術(shù)語來定義機(jī)器學(xué)習(xí)領(lǐng)域，即便這種做法毫無必要。 出于同樣的道理，基于“使用”的嚴(yán)格劃分現(xiàn)在變得非常復(fù)雜，實(shí)際上現(xiàn)在很多機(jī)器學(xué)習(xí)從業(yè)者，即便當(dāng)他們僅僅是在應(yīng)用機(jī)器學(xué)習(xí)方法來做純粹的數(shù)據(jù)分析，而不是驅(qū)動計(jì)算機(jī)程序時(shí)，他們依舊會稱他們是在做機(jī)器學(xué)習(xí)。
雖然從嚴(yán)格的歷史意義上而言，這種說法并不對，但是我認(rèn)為也無需指責(zé)這種做法，因?yàn)檫@可能是出于習(xí)慣、文化背景或者“認(rèn)為這種說法聽起來來很酷”的綜合影響。
所以在現(xiàn)實(shí)中，人們用到“機(jī)器學(xué)習(xí)”這個(gè)術(shù)語時(shí)，往往指的與機(jī)器學(xué)習(xí)本身非常不同的其他事情。 人們可能用它來表達(dá)：“我正在用統(tǒng)計(jì)學(xué)方法來讓我設(shè)計(jì)的程序?qū)W習(xí)”或者“我正在設(shè)計(jì)可以部署到自動化系統(tǒng)中的數(shù)據(jù)分析”。
又或者表達(dá)的意思是：“我正在使用一個(gè)最初由機(jī)器學(xué)習(xí)社區(qū)開發(fā)的方法，如隨機(jī)森林，來做統(tǒng)計(jì)學(xué)數(shù)據(jù)分析”。 而更普遍的情況是，他們使用這個(gè)詞是在說：“我自己是一個(gè)機(jī)器學(xué)習(xí)研究者，我就是在使用數(shù)據(jù)做機(jī)器學(xué)習(xí)研究，我怎么高興就怎么說?！?nbsp;
實(shí)際上，這一術(shù)語的不同用法并不令人驚訝也不成問題，因而這僅僅是由于語言的進(jìn)化而導(dǎo)致的結(jié)果。然而當(dāng)另一群人——數(shù)據(jù)科學(xué)家群起而辯“一個(gè)特定的項(xiàng)目是否能純粹地冠之以機(jī)器學(xué)習(xí)或者統(tǒng)計(jì)學(xué)，二者選其一”時(shí)，就非常滑稽了。
在我看來，“數(shù)據(jù)科學(xué)家”這一術(shù)語原本就是由機(jī)器學(xué)習(xí)和統(tǒng)計(jì)學(xué)交匯而成的。 而當(dāng)這一爭論發(fā)生時(shí)，大家往往都帶著各不相同、定義模糊、并且表達(dá)不清的假設(shè)參與爭論，一開場便是爭論這些詞的意思。而隨后他們幾乎不會花時(shí)間去了解這些詞的出處或者聽對方真正要表達(dá)的是什么，而僅僅是相互之間隔空喊話，聲音大然而卻并不清晰。
現(xiàn)在，讓我們將這些真實(shí)的問題擺在桌面上來談：如今有很多機(jī)器學(xué)習(xí)研究者（或者至少是機(jī)器學(xué)習(xí)愛好者）對統(tǒng)計(jì)學(xué)的理解尚有不足。有一部分人確實(shí)就是一位機(jī)器學(xué)習(xí)研究者，然而也有許多專業(yè)的統(tǒng)計(jì)學(xué)家有時(shí)候也會認(rèn)為自己是機(jī)器學(xué)習(xí)研究者。
而更嚴(yán)重的現(xiàn)實(shí)情況是，機(jī)器學(xué)習(xí)研究的發(fā)展走得如此之快，并且常常在文化上與統(tǒng)計(jì)學(xué)領(lǐng)域脫節(jié)得如此之遠(yuǎn)，以至于我認(rèn)為對于即便是非常杰出的機(jī)器學(xué)習(xí)研究者而言，對統(tǒng)計(jì)學(xué)的某些部分“重新發(fā)現(xiàn)”或者“重新發(fā)明”都非常普遍。
這是個(gè)問題，也是種浪費(fèi)！ 最后，由于大量第三方應(yīng)用研究者非常喜歡用“機(jī)器學(xué)習(xí)”這個(gè)術(shù)語：為了讓論文顯得更時(shí)髦而在論文中大量應(yīng)用這一術(shù)語，即便現(xiàn)實(shí)中他們所謂的“機(jī)器學(xué)習(xí)”既不是構(gòu)建自動化系統(tǒng)也沒有使用機(jī)器學(xué)習(xí)領(lǐng)域提出的方法。
（雷鋒網(wǎng)）我認(rèn)為，所有這些問題的解決方法，就是讓人們更多地意識到：大多數(shù)機(jī)器學(xué)習(xí)的數(shù)據(jù)方法實(shí)際上就存在于統(tǒng)計(jì)學(xué)中。無論這些方法是用到了數(shù)據(jù)分析中還是設(shè)計(jì)智能系統(tǒng)中，我們的首要任務(wù)是培養(yǎng)對統(tǒng)計(jì)學(xué)原理的深刻理解，而不是執(zhí)拗于機(jī)器學(xué)習(xí)和統(tǒng)計(jì)學(xué)領(lǐng)域的劃分是正確還是錯誤。
關(guān)于很多工作是機(jī)器學(xué)習(xí)還是統(tǒng)計(jì)學(xué)的無休止的爭論，最終只會分散人們的注意力，讓他們無法花更多精力來進(jìn)行“如何通過正確匹配問題和特定的工具來很好地完成工作”的必要對話和交流——相對而言，這才是更重要的事。 與此同時(shí)，人們固執(zhí)己見地對統(tǒng)計(jì)學(xué)和機(jī)器學(xué)習(xí)方法錯誤的二分法，會讓很多研究者進(jìn)一步養(yǎng)成沒有必要就不使用復(fù)雜方法的習(xí)慣，僅僅是為了讓自己感覺像是在做“真正的機(jī)器學(xué)習(xí)”。
這也會直接導(dǎo)致，人們會為了讓自己的工作在方法論上聽起來更時(shí)髦，就肆無忌憚地把自己的工作稱作機(jī)器學(xué)習(xí)。
統(tǒng)計(jì)計(jì)算的黃金時(shí)代，正在推動機(jī)器學(xué)習(xí)和統(tǒng)計(jì)學(xué)領(lǐng)域變得空前的緊密。當(dāng)然，機(jī)器學(xué)習(xí)研究誕生于計(jì)算機(jī)科學(xué)體系，而當(dāng)代的統(tǒng)計(jì)學(xué)家越來越多地依賴于計(jì)算機(jī)科學(xué)界幾十年來開創(chuàng)的算法和軟件棧。他們也越來越多地發(fā)現(xiàn)機(jī)器學(xué)習(xí)研究者所提出的方法的用處，例如高維度回歸，這一點(diǎn)尤其體現(xiàn)在計(jì)算生物學(xué)領(lǐng)域。
另一方面，機(jī)器學(xué)習(xí)社區(qū)也越來越多地關(guān)注可解釋性、公平性、可驗(yàn)證的魯棒性等主題，這也讓很多研究者優(yōu)先考慮讓機(jī)器學(xué)習(xí)輸出的數(shù)值更直接地與傳統(tǒng)的統(tǒng)計(jì)值一致。至少，即便是在盡可能地使用最復(fù)雜的架構(gòu)來部署系統(tǒng)時(shí)，人們也普遍意識到，使用經(jīng)典的統(tǒng)計(jì)學(xué)來測量和評估機(jī)器學(xué)習(xí)模型的性能很有必要。
總而言之，學(xué)界關(guān)于機(jī)器學(xué)習(xí)和統(tǒng)計(jì)學(xué)的爭論是錯誤的，人們對于相關(guān)術(shù)語的使用也是超載的，方法論的二分法也并不正確，機(jī)器學(xué)習(xí)研究者越來越多地關(guān)注統(tǒng)計(jì)學(xué)，而統(tǒng)計(jì)學(xué)家們也越來越依賴于計(jì)算機(jī)科學(xué)和機(jī)器學(xué)習(xí)社區(qū)。
根本就不存在回歸和兼并陰謀論。
現(xiàn)在出現(xiàn)了很多炒作現(xiàn)象，但并不能改變的一個(gè)事實(shí)是：當(dāng)其他人使用的術(shù)語與你不同時(shí)，那是因?yàn)樗麄儊碜圆煌谋尘啊⒂兄煌哪繕?biāo)，而不是因?yàn)樗麄儾徽\實(shí)或者愚蠢。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
