聯(lián)合編譯：Blake、高斐

編者注：Michael I. Jordan教授是加州大學(xué)伯克利分校（University of California, Berkeley）電子工程系、計(jì)算機(jī)科學(xué)系以及統(tǒng)計(jì)系的杰出教授。他在亞利桑那州立大學(xué)（Arizona State University）獲得了數(shù)學(xué)碩士學(xué)位，并且在1985年從加利福尼亞大學(xué)圣地亞哥分校（University of California, San Diego）獲得了認(rèn)知科學(xué)博士學(xué)位。自1988年到1998年，Michael I. Jordan在麻省理工學(xué)院（MIT）任教授，他的研究方向包括了計(jì)算學(xué)、統(tǒng)計(jì)學(xué)、認(rèn)知及生物科學(xué)，最近幾年集中在貝葉斯非參數(shù)分析、概率圖模型，譜方法、分布式計(jì)算系統(tǒng)中內(nèi)核機(jī)及其應(yīng)用問(wèn)題、自然語(yǔ)言處理、信號(hào)處理和統(tǒng)計(jì)遺傳學(xué)等問(wèn)題上（幾乎涵蓋了大部分機(jī)器學(xué)習(xí)中的內(nèi)容）。

Michael I. Jordan教授是美國(guó)科學(xué)院院士（National Academyof Sciences）、美國(guó)工程院（National Academy of Engineering）院士和美國(guó)藝術(shù)和科學(xué)學(xué)院（American Academy of Arts and Sciences）院士。他被數(shù)理統(tǒng)計(jì)研究所任命為Neyman Lecturer 和Medallion Lecturer。在2016年，他獲得了IJCAI卓越研究獎(jiǎng)。之前的2015年，他獲得了David E. Rumelhart獎(jiǎng)；在2009年，他獲得了ACM/AAAI的Allen Newell獎(jiǎng)。同時(shí)，他是AAAI、ACM、ASA、CSS、IEEE、IMS、ISBA和SIAM的成員。

曾在Michael I. Jordan教授學(xué)習(xí)過(guò)的不少學(xué)生已有不少成長(zhǎng)為領(lǐng)域中的大牛，包括深度學(xué)習(xí)中的大神、蒙特利爾大學(xué)教授Yoshua Bengio，現(xiàn)任百度美國(guó)研究員首席科學(xué)家、斯坦福大學(xué)教授Andrew Ng（吳恩達(dá)），還有學(xué)界大牛斯坦福大學(xué)教授Percy Liang等人。本文是Michael I. Jordan教授在UC Berkeley有關(guān)計(jì)算思維、推理思維還有數(shù)據(jù)科學(xué)的演講內(nèi)容整理。

論計(jì)算思維、推理思維和“數(shù)據(jù)科學(xué)”

Michael I Jordan

加州大學(xué)伯克利分校（University of California, Berkeley）

舉例：一份工作描述（大約在2016年）

如果你是一名來(lái)自伯克利的畢業(yè)生，當(dāng)你畢業(yè)之后去硅谷可能會(huì)遇到的需求。

• 老板：“我需要一個(gè)大數(shù)據(jù)系統(tǒng)，使用個(gè)性化的服務(wù)來(lái)替換原來(lái)的經(jīng)典服務(wù)?！?/strong>

• “這個(gè)系統(tǒng)對(duì)于任何一個(gè)人來(lái)說(shuō)都要良好運(yùn)行，我可以接受一點(diǎn)點(diǎn)錯(cuò)誤但是不能有那些會(huì)讓我們尷尬的愚蠢錯(cuò)誤?！?/strong>

Michael I Jordan：這意味著要將你的錯(cuò)誤率降到特別低的程度，如果正確率有99%，那另外1%的用戶遇到那些錯(cuò)誤也是相當(dāng)龐大的一個(gè)數(shù)字。

• “它應(yīng)該和原來(lái)的經(jīng)典服務(wù)運(yùn)行的一樣快?！?/strong>

Michael I Jordan：不能比原來(lái)的服務(wù)慢，而且還要在適當(dāng)?shù)念A(yù)算中。

• “當(dāng)我們收集到更多的數(shù)據(jù)時(shí)它只能變快，特別是不能變慢?！?/strong>

Michael I Jordan：當(dāng)數(shù)據(jù)量增加時(shí)，錯(cuò)誤率也會(huì)相應(yīng)的增大，不一定數(shù)據(jù)越多速度會(huì)越快。

• “在這個(gè)方面會(huì)有很多人關(guān)注嚴(yán)隱私層面的問(wèn)題，這些人里面包含很多不同的客戶。”

觀念上的挑戰(zhàn)

• 數(shù)據(jù)科學(xué)十分要求計(jì)算思維和推理思維的完全融合（推理思維出現(xiàn)才300年左右，已經(jīng)開(kāi)始擁抱各種思想，可以互相融合）

• 計(jì)算思維意味著什么

抽象、模塊化、可擴(kuò)展性、魯棒性等

• 推理思維意味著什么

在數(shù)據(jù)背后考慮真實(shí)世界的現(xiàn)象問(wèn)題

考慮到產(chǎn)生數(shù)據(jù)的采樣模式

開(kāi)發(fā)程序?qū)臄?shù)據(jù)“向后”反推到底層現(xiàn)象

這些挑戰(zhàn)令人畏懼

• 計(jì)算科學(xué)與統(tǒng)計(jì)中的核心理論是分別發(fā)展的，存在一個(gè)油與水的問(wèn)題(互不相容的因素) 

• 核心統(tǒng)計(jì)理論中沒(méi)有運(yùn)行時(shí)間和其它計(jì)算資源的位置

• 核心計(jì)算理論中沒(méi)有統(tǒng)計(jì)風(fēng)險(xiǎn)的位置

警告：前方需要大量數(shù)學(xué)知識(shí)

第一部分——推理與隱私

隱私和數(shù)據(jù)分析

• 人們一般不愿意他們的個(gè)人數(shù)據(jù)在不受控制的情形下被使用，同時(shí)會(huì)擔(dān)心他們的隱私將會(huì)損失多少。

• “隱私損失”能夠進(jìn)行量化

• 我們想要將隱私損失與我們能從“數(shù)據(jù)分析”中所得的價(jià)值進(jìn)行交易

• 問(wèn)題就變成了將這些價(jià)值進(jìn)行量化并將其與隱私損失并列在一起

隱私

疑問(wèn)——數(shù)據(jù)庫(kù)——私人數(shù)據(jù)庫(kù)

計(jì)算思維，但不是推理思維（舉例：數(shù)據(jù)給出的是人們的年紀(jì)、身高、體重以及血壓，是否應(yīng)該他們藥物治療，他們還能活多久？）

推理思維

將兩者融合起來(lái)

隱私碰上推理問(wèn)題

私人數(shù)據(jù)分析極大極小論

• 讓n來(lái)表示數(shù)據(jù)點(diǎn)的量，d來(lái)表示參數(shù)空間的維度，a表示不同的隱私參數(shù)

• 原理：如果我們將n替換成有效地樣本大小，隱私意識(shí)極大極小風(fēng)險(xiǎn)與經(jīng)典的極大極小風(fēng)險(xiǎn)相同

簡(jiǎn)介：隱私均值估計(jì)

• 舉例：患者上醫(yī)院的估計(jì)原因

• 藥物濫用入院治療的患者

• 對(duì)引發(fā)患病率不同的物質(zhì)預(yù)估

簡(jiǎn)介：均值估計(jì)

優(yōu)化機(jī)制？

• 非隱私觀察：人們有時(shí)不想分享一些隱私數(shù)據(jù)，對(duì)此，我們應(yīng)當(dāng)通過(guò)什么辦法進(jìn)行隱私數(shù)據(jù)分析？

• 觀點(diǎn)1：增加重尾噪音，以獨(dú)立噪音（例如，拉普拉斯機(jī)制）為例，通過(guò)這種途徑，便能夠獲得一手?jǐn)?shù)據(jù)

優(yōu)化機(jī)制

• 從集合{0,1}中統(tǒng)一提取隨機(jī)向量v

• 統(tǒng)一從集合{0,1}中提取v

• 當(dāng)概率為  時(shí)，其中α為微分隱私參數(shù)，選擇接近X的v和1-v

• 否則，選擇遠(yuǎn)離X的v和1-v

實(shí)證證據(jù)

額外數(shù)據(jù)為綠色曲線，對(duì)應(yīng)對(duì)數(shù)刻度的藍(lán)色曲線反映了該優(yōu)化機(jī)制。綠色曲線和藍(lán)色曲線的走勢(shì)顯示出額外數(shù)據(jù)與優(yōu)化數(shù)據(jù)之間明顯的差異。

估計(jì)由于不同原因進(jìn)出急診室的比例

數(shù)據(jù)源：濫用藥物預(yù)警網(wǎng)絡(luò)

第二部分：推理與壓縮

溝通約束

• 大數(shù)據(jù)現(xiàn)象使分布式存儲(chǔ)數(shù)據(jù)具有必要性（因而，Michael在數(shù)據(jù)分析系統(tǒng)中對(duì)數(shù)據(jù)添加一定的限制，即壓縮(compression)）。

• 獨(dú)立數(shù)據(jù)收集（例如，醫(yī)院）

• 隱私

設(shè)置：每一個(gè)m智能體的樣本數(shù)量為n

信息傳輸?shù)饺诤现行?/p>

問(wèn)題：溝通與統(tǒng)計(jì)效用之間的權(quán)衡？

何為大數(shù)據(jù)現(xiàn)象？

• 驗(yàn)證模式的科學(xué)（例如，粒子物理學(xué)）

推理問(wèn)題：存在大量干擾性變量

• 解釋模式的科學(xué)（例如，天文學(xué)，基因組學(xué)）

推理問(wèn)題：存在大量的假說(shuō)

• 衡量人類(lèi)活動(dòng)，尤其是在線活動(dòng)，將產(chǎn)生大型數(shù)據(jù)集，這些數(shù)據(jù)集可用于個(gè)性化或用于開(kāi)拓市場(chǎng)

推理問(wèn)題：許多不為人知的取樣框架（具有多樣性），復(fù)合式損失函數(shù)

•  存在計(jì)算方面的問(wèn)題

最為顯著的是，計(jì)算方面的問(wèn)題與推理方面的問(wèn)題相互影響。

極大極小溝通理論(Duchi, Jordan, Wainwright & Zhang, 2015)

• 將be 限制在B比特范圍內(nèi)

• B約束范圍內(nèi)溝通的最大最小風(fēng)險(xiǎn)如上圖所示。

簡(jiǎn)介：均值估計(jì)

• 在正態(tài)局部集θ中計(jì)算平均估計(jì)值

• 原理：當(dāng)每一個(gè)智能體的樣本數(shù)量為n時(shí)，最大最小率如上圖所示。

 原理：當(dāng)每一個(gè)智能體的樣本數(shù)量為n時(shí)，B約束范圍內(nèi)溝通的最大最小率如上圖所示。

討論

• 在處理數(shù)據(jù)科學(xué)問(wèn)題中出現(xiàn)了許多概念和數(shù)學(xué)上的挑戰(zhàn)

• 面臨這些挑戰(zhàn)要求在“計(jì)算思維”和“推理思維”中建立良好的聯(lián)系

在計(jì)算和推理領(lǐng)域的基礎(chǔ)層面建立聯(lián)系

相關(guān)閱讀

深度學(xué)習(xí)鼻祖Geoffrey Hinton幫你入門(mén)帶你飛

深度學(xué)習(xí)大神Yoshua Bengio經(jīng)典前瞻演講，幫你打通深度學(xué)習(xí)的任督二脈

深度學(xué)習(xí)元老Yann Lecun詳解卷積神經(jīng)網(wǎng)絡(luò)

秒懂！何凱明的深度殘差網(wǎng)絡(luò)PPT是這樣的|ICML2016 tutorial

PS : 本文由雷鋒網(wǎng)獨(dú)家編譯，未經(jīng)許可拒絕轉(zhuǎn)載！

via Michael I. Jordan

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。