4
| 本文作者： 楊曉凡 | 2017-08-30 16:51 |
雷鋒網(wǎng) AI 科技評論按：「Deep Learning」這本書是機(jī)器學(xué)習(xí)領(lǐng)域的重磅書籍，三位作者分別是機(jī)器學(xué)習(xí)界名人、GAN的提出者、谷歌大腦研究科學(xué)家 Ian Goodfellow，神經(jīng)網(wǎng)絡(luò)領(lǐng)域創(chuàng)始三位創(chuàng)始人之一的蒙特利爾大學(xué)教授 Yoshua Bengio（也是 Ian Goodfellow的老師）、同在蒙特利爾大學(xué)的神經(jīng)網(wǎng)絡(luò)與數(shù)據(jù)挖掘教授 Aaron Courville。只看作者陣容就知道這本書肯定能夠從深度學(xué)習(xí)的基礎(chǔ)知識和原理一直講到最新的方法，而且在技術(shù)的應(yīng)用方面也有許多具體介紹。這本書面向的對象也不僅是學(xué)習(xí)相關(guān)專業(yè)的高校學(xué)生，還能夠?yàn)檠芯咳藛T和業(yè)界的技術(shù)人員提供穩(wěn)妥的指導(dǎo)意見、提供解決問題的新鮮思路。
面對著這樣一本內(nèi)容精彩的好書，不管你有沒有入手開始閱讀，雷鋒網(wǎng) AI 研習(xí)社都希望借此給大家提供一個(gè)共同討論、共同提高的機(jī)會(huì)。所以我們請來了曾在百度和阿里工作過的資深算法工程師王奇文與大家一起分享他的讀書感受。
分享人：王奇文，資深算法工程師，曾在百度和阿里工作，先后做過推薦系統(tǒng)、分布式、數(shù)據(jù)挖掘、用戶建模、聊天機(jī)器人?！八惴飞?，砥礪前行”。
「Deep learning」讀書分享（二） —— 第二章 線性代數(shù)
我們上次講的是「深度學(xué)習(xí)」第一章：簡介，今天分享的是第二章：線性代數(shù)。右上角是這一章的目錄，從27頁到42頁，內(nèi)容不多，基本都是傳統(tǒng)形式上的概念。同樣，我只講直觀思路，盡可能的少用公式，畢竟好多人見著數(shù)學(xué)公式就頭疼，更不用說在PPT上看了，效果不好，容易催眠，看著看著就身在朝野心在漢了。
左側(cè)是基本框架，剛開始會(huì)有一些基本介紹，比如標(biāo)量、向量、矩陣、張量；然后詳細(xì)講解下向量、矩陣，和矩陣分解。矩陣分解里面要特別強(qiáng)調(diào)：一個(gè)“特征值分解”，還有一個(gè)“奇異值分解”；接著，向量和矩陣之間什么關(guān)系；最后是應(yīng)用案例。這部分對機(jī)器學(xué)習(xí)和深度學(xué)習(xí)來說是非常重要的，如果想從事機(jī)器學(xué)習(xí)方面的研究或者是工作，必須掌握。而且今天講的線性代數(shù)是所有數(shù)學(xué)基礎(chǔ)里面最簡單的。
我會(huì)分成兩部分來講，第一部分是非常傳統(tǒng)的方法，就是講向量是什么、標(biāo)量是什么等等一些常規(guī)的定義、概念，比較枯燥，我會(huì)講得快一些，幫大家快速回顧下曾經(jīng)學(xué)過的《線性代數(shù)》或《高等代數(shù)》（數(shù)學(xué)系教材），把還給老師的知識一點(diǎn)點(diǎn)拿回來?。ú荒馨捉粚W(xué)費(fèi)是吧？）所以請大家集中注意力。
第二部分我會(huì)換一種方式，從直觀感覺上重新理解線性代數(shù)的本質(zhì)，這部分是精華，一般人都沒見過，保證讓你醍醐灌頂。
幾種類型：
標(biāo)量，簡單來說就是一個(gè)數(shù)字，像X=3，它就是一個(gè)數(shù)值；而向量就是一列數(shù)或者一堆數(shù)，把它排成一行或者一列，然后就對應(yīng)到線性空間里的一個(gè)點(diǎn)或者一個(gè)矢量（也就是帶方向的線段）。這個(gè)線性空間可以是多維的，具體二維還是三維就看這里面堆了幾個(gè)數(shù)。像x=(1,3,6)，對應(yīng)的是三個(gè)坐標(biāo)，就是三維空間里面的一個(gè)點(diǎn)；而三維空間的原點(diǎn)到這個(gè)點(diǎn)有向線段就是一個(gè)向量。
接著是矩陣。矩陣是把向量按照行方向或者是列方向排列起來，變成一個(gè)二維數(shù)組。像右側(cè)矩陣A里面這樣排列。
張量是矩陣基礎(chǔ)上更高維度的抽象，它的維度可能比前面還要高，主要對應(yīng)于包含若干坐標(biāo)軸的規(guī)則網(wǎng)格。
從剛才的那些講解上可以發(fā)現(xiàn)：
標(biāo)量相當(dāng)于一維向量（暫時(shí)忽略方向，嚴(yán)格來說是向量單個(gè)維度的大小）
而向量是只有一維矩陣
矩陣是張量的一個(gè)切片
從上到下是維度的逐漸提升。反過來從下往上，張量、矩陣、向量、標(biāo)量，是不斷降維的過程。所以前面的類型只是后面的一個(gè)特殊形式，比如說任意一個(gè)向量，是張量的一種特殊形式。簡而言之，張量囊括一切。
向量一般分成方向和長度兩部分。像這個(gè)x是一個(gè)單位向量，它的特點(diǎn)是長度是1個(gè)單位。
關(guān)于向量，有這兩種理解：
把它當(dāng)做線性空間里面一個(gè)點(diǎn)
把它當(dāng)做帶有方向一個(gè)線段
這兩種都可以。
跟向量有關(guān)的兩種運(yùn)算，一種是內(nèi)積，第二種是外積。根據(jù)定義，內(nèi)積會(huì)生成一個(gè)數(shù)，外積會(huì)生成一個(gè)向量；需要根據(jù)右手坐標(biāo)系來定方向，保持手掌、四指與大拇指相互垂直，將手掌與四指分別對應(yīng)兩個(gè)向量，一比劃，就得到大拇指的方向，大小就按照sin這個(gè)公式算出來。
有些特殊的向量，比如零向量就對應(yīng)線性空間里面的原點(diǎn)；單位向量就是長度是一。還有概念叫正交，簡單理解就是空間中兩個(gè)向量相互垂直。垂直怎么判斷？就是兩個(gè)向量作內(nèi)積，公式里有個(gè)cosθ，θ如果等于90度，結(jié)果就是零；這就是正交。
關(guān)于向量長度，有個(gè)度量方法：范數(shù)。向量長度按照范數(shù)來度量，分別對應(yīng)不同的表達(dá)式。
L1范數(shù)，它會(huì)取每一個(gè)元素的絕對值，然后求和；
L2范數(shù)，L1的絕對值變成平方，外層開方；
還有P范數(shù)，這里面的P數(shù)值是自己指定的；
F范數(shù)一般只適用于矩陣，里面每一個(gè)元素取平方，然后再求和。
可見，P范數(shù)是一般形式，p=1或2分別對應(yīng)L1和L2（對應(yīng)于機(jī)器學(xué)習(xí)里的L1、L2正則）
矩陣相關(guān)概念。
同型，如果兩個(gè)矩陣A和B同型，那么A和B的維度是一樣的，比如說A是M×N，B是X×Y，那么M等于X，N等于Y，這是關(guān)鍵；
方陣就是，對于一個(gè)M×N的矩陣，M等于N就是個(gè)方陣。
單位矩陣，對角線全部都是1；
對稱，轉(zhuǎn)置后矩陣不變；
秩和跡。秩對應(yīng)的一個(gè)概念叫線性表出，也就是矩陣?yán)锩娴拿恳恍谢蛘呤敲恳涣?，選定一個(gè)方向（要么是行要么是列），取其中一列，跟其他的列做加減和數(shù)乘（只能是這兩種操作），其中任意一列要不能由其他列的線性表出?，F(xiàn)在聽起來可能不太好理解，可以暫時(shí)放放。
行列式，就是在矩陣外面，比如說這個(gè)3×3的矩陣，在外面取兩邊各加一條豎線，這就表示行列式；怎么算呢，每一行、每一列分別取一個(gè)數(shù)，相當(dāng)于這里面三個(gè)元素全排列，之后再乘上一個(gè)逆序數(shù)（逆序數(shù)是指每組元素原始下標(biāo)順序，如果是逆序，就乘-1，把這所有的逆序數(shù)乘上去，最后就得到了一個(gè)方向，也就是行列式里面是正號還是負(fù)號）。
逆矩陣，就是矩陣A乘以某個(gè)矩陣后得到單位陣，這個(gè)矩陣就是逆矩陣；
偽逆矩陣是逆矩陣的一種擴(kuò)展；
正交矩陣就是每行每列都是單位向量，特性是AAt=I。
剛才的內(nèi)容，可能不好理解，不過大家都學(xué)過線性代數(shù)的基本課程，還是能夠回憶起來的。后面第二部分再給大家解釋一下為什么會(huì)有這些東西。
矩陣運(yùn)算，除了傳統(tǒng)的矩陣乘法，還有一種特殊的乘積，這個(gè)就是對應(yīng)元素乘積，它的表示方法是不一樣，中間加個(gè)圓圈；兩個(gè)矩陣（必須同型）對應(yīng)元素相乘，得到一個(gè)新的矩陣，也是同型的。
我們看一下矩陣乘法。從右往左看，這個(gè)是作者（Ian Goodfellow）PPT里的一張圖，老外的思維是從右往左看。這里是3×2的一個(gè)矩陣，和2×4的一個(gè)矩陣，兩個(gè)矩陣相乘，就是兩個(gè)矩陣中分別取一行和一列依次相乘，得到左邊的矩陣。
范數(shù)的目標(biāo)就是衡量矩陣的大小。有很多種類別，但不是什么函數(shù)都能當(dāng)做范數(shù)的，有些基本的要求：比如必須要保證有一個(gè)零值，然后還要滿足三角形不等式，也就是三角形兩邊之和大于第三邊，還有數(shù)乘，對應(yīng)的是等比例縮放。縮放就是一個(gè)函數(shù)乘以一個(gè)實(shí)數(shù)，這是一個(gè)線性空間里的基本運(yùn)算。
這是P范數(shù)的表達(dá)式。其實(shí)P范數(shù)具有一種泛化的表達(dá)式，是一種通用的方式，可以包含L1、L2，還有無窮范式，這些都是由P的取值決定的，可以等于1、等于2、等于無窮。
行列式的計(jì)算方法比較復(fù)雜，公式我就不列了。直接給出直觀理解：衡量一個(gè)向量在經(jīng)過矩陣運(yùn)算后會(huì)變成什么樣子，即線性空間上進(jìn)行了某種放縮，可能是放大或者縮小，縮放的倍率就是行列式值；行列式的符號（正或負(fù)），代表著矩陣變換之后坐標(biāo)系的變化。
矩陣變換里面有這么幾種，平移、縮放等等。這個(gè)后面再說，免得重復(fù)。
矩陣分解：
（1）特征值分解，是我們常規(guī)見到的。有一個(gè)定義，比如我們定義一個(gè)矩陣A，乘以一個(gè)向量得到的等于另外一個(gè)數(shù)字乘以同一個(gè)向量，Av=λv。滿足這個(gè)表達(dá)式，就叫做矩陣的特征值分解，這是矩陣分解典型的形式。這個(gè)v就是一個(gè)特征向量，而這個(gè)λ就是特征值，它們是一一對應(yīng)的（出生入死的一對好基友）。符合表達(dá)式可能還有其他取值，每一個(gè)矩陣A會(huì)對應(yīng)多組特征向量和特征值；矩陣A的所有特征向量和特征值都是一一對應(yīng)的。
如果矩陣是一個(gè)方陣（不只M等于N，還需要保證這個(gè)矩陣?yán)锩婷恳恍?、每一列線性無關(guān)），可以做這樣的特征分解，把A分成了一個(gè)正交矩陣乘對角陣乘同一個(gè)正交矩陣的逆。對角陣是把每一個(gè)特征向量一個(gè)個(gè)排下來。
還有個(gè)概念叫正定，是對任意實(shí)數(shù)，滿足xAxt>0，就叫正定；類似的還有半正定，大于等于0是半正定；負(fù)定就是小于零。
（2）奇異值分解，是矩陣特征分解的一種擴(kuò)展，由于特征分解有個(gè)很強(qiáng)的約束——A必須是一個(gè)方陣。如果不是方陣怎么辦呢，就沒有辦法了嗎？有的，就是用SVD奇異值分解，這個(gè)在推薦系統(tǒng)用的比較多。
這是特征分解的示意圖。從直觀上理解，這個(gè)圓上面的兩個(gè)向量V1、V2，經(jīng)過矩陣變換之后在兩個(gè)特征方向上進(jìn)行縮放：在V1方向上面縮放λ1倍，變成了新的V1；V2在V2的方向做了λ2倍的縮放，變成新的V2。這兩個(gè)特征，構(gòu)成了完整的矩陣分解，也就是經(jīng)過一個(gè)線性變換之后得到的效果——在特征向量方向上分別縮放特征值倍。
SVD分解就是一個(gè)擴(kuò)展形式，表達(dá)方式就這樣，不細(xì)說了。
向量和矩陣這兩個(gè)組合起來就可以解決常見的線性方程組求解問題。
這里有幾個(gè)概念，一個(gè)叫線性組合，就是一個(gè)矩陣，里面的一行或者一列，實(shí)際上就是多個(gè)向量，通過簡單的加減還有數(shù)乘，組合出來一個(gè)新的向量，這叫線性組合。如果用基向量X1、X2執(zhí)行加法和數(shù)乘操作，得到的是x3=k1*x1+k2*x2，一組向量組成的線性空間，即由X1、X2組合成的向量空間，就叫生成子空間。
如果對兩個(gè)向量X和Y，可以按照α和1－α這兩個(gè)數(shù)乘組合起來生成一個(gè)新的向量，這個(gè)叫線性表出，就是Z向量由X和Y進(jìn)行線性表出，然后α和1－α都是一個(gè)數(shù)值，滿足這個(gè)關(guān)系就叫線性相關(guān)。這就是說Z和X、Y是線性相關(guān)的，如果不滿足，如果Z這個(gè)向量不能這樣表出，就叫線性無關(guān)。
這是矩陣對應(yīng)的一個(gè)線性方程組。這是一個(gè)矩陣，現(xiàn)在像右邊這樣把它展開，就是矩陣和線性方程組是對應(yīng)的。這個(gè)挺常見的我不就不多說了。
矩陣方程組的求解是，把方程組每一個(gè)系數(shù)組成矩陣A，根據(jù)A這個(gè)矩陣本身的特性就可以直接判斷這個(gè)方程組有沒有解、有多少解。還有無解的情況。
這是矩陣方程組的一些求解，比較常規(guī)的，像AX=b這個(gè)線性方程組一般怎么解呢？常規(guī)方法：兩邊直接乘A的逆矩陣。它有個(gè)前提：A的逆必須存在，也就是說A里每一行、每一列不能線性相關(guān)。這種方法一般用于演示，比如算一些小型的矩陣，實(shí)際情況下，A的規(guī)模會(huì)非常大，按照這種方法算，代價(jià)非常大。
再看下什么矩陣不可逆。一個(gè)矩陣M×N，按照M、N的大小可以做這樣的分類：如果行大于列，通常叫做長矩陣，反之叫寬矩陣；行大于列，而且線性無關(guān)，就是無解的情形。寬矩陣有無數(shù)個(gè)解，其中，每一列代表一個(gè)因變量，每一行代表一個(gè)方程式。
偽逆是逆的一種擴(kuò)展，逆必須要求A這個(gè)矩陣式滿秩，就是沒有線性表出的部分。如果不滿足，那么就得用偽逆來計(jì)算，這只是一種近似方法。SVD這種方法比較厲害，因?yàn)橹С謧文娌僮鳌?/p>
應(yīng)用案例里，書里面只提到一個(gè)PCA，線性降維，也沒有詳細(xì)的展開。其實(shí)書里很多章節(jié)都提到了PCA，所以我也給大家普及一下基本概念。
這個(gè)是PCA在圖像上面的應(yīng)用。這張圖非常經(jīng)典，凡是學(xué)過數(shù)字圖像處理的都知道她——Lenna（提示：別去搜lena的全身圖，~~~~(>_<)~~~~，好吧，不賣關(guān)子了，老實(shí)交代：這是圖像處理專家喜歡的一個(gè)舞女，養(yǎng)眼，圖案灰度也鮮明，于是歪打正著成了著名樣本，參考cmu網(wǎng)站上的「The Lenna Story」）。原圖像經(jīng)過主成分分析降維之后就變成右邊的圖，可以看到大部分信息都都還在，只是有些模糊。這個(gè)過程叫降維，術(shù)語是圖像壓縮。
看一下PCA的基本過程。PCA的思想是，原來一個(gè)矩陣有很多列，這些列里可能存在一些線性關(guān)系，如何把它降成更小的維度，比如說兩三維，而且降維之后信息又能夠得到很大程度的保留。怎么定義這個(gè)程度呢？一般是累計(jì)貢獻(xiàn)率大概85%以上，這些主成份才有保留意義。這個(gè)累計(jì)貢獻(xiàn)率是通過方差來體現(xiàn)的，樣本分布帶有一定的噪音或者隨機(jī)分布，如果是在均值的左和右兩個(gè)方向進(jìn)行偏移的話，不會(huì)影響方差。方差等效于信息量。
這張圖解釋主成分分析的過程，用的是特征值分解，一個(gè)X的轉(zhuǎn)置乘以X，然后對它做各種復(fù)雜的變換，大家看看就行了，想了解細(xì)節(jié)的話自己去找資料，具體過程一時(shí)半會(huì)兒講不清楚。PCA最后有什么效果呢？看中間的坐標(biāo)系給出示意圖，原來的矩陣取了X1和X2兩個(gè)維度，把樣本點(diǎn)打出來能看到近似橢圓分布，而PCA的效果就是得到一組新的坐標(biāo)系，分別在長軸和短軸方向，互相正交，一個(gè)方向?qū)?yīng)一個(gè)主成分。實(shí)際上，數(shù)據(jù)特征多于兩維，圖里只是為了方便觀察，這樣就完成了一個(gè)降維的過程。
右上是一個(gè)示例，有一些動(dòng)物樣本，狗、小貓，還有個(gè)氣墊船（非動(dòng)物）。在特征空間里面顯示成這樣，理論上，動(dòng)物會(huì)靠得比較近，非動(dòng)物會(huì)遠(yuǎn)離。如果用PCA來做，可能得到的結(jié)果是這個(gè)樣子，動(dòng)物跟非動(dòng)物區(qū)分的不是很明顯。所以，PCA實(shí)際上只能解決一些線性問題，非線性情況下，解決的效果不太好。
怎么辦呢？用非線性降維方法。典型的方法比如說t-SNE（t分布-隨機(jī)近鄰嵌入），流形學(xué)方法。
流形簡單來說就是很多面片疊加形成的幾何圖形?；炯僭O(shè)是，同一個(gè)數(shù)據(jù)集中每個(gè)樣本會(huì)近似服從一定的內(nèi)在分布，比如說空間幾何體里的圓形或球面，甚至正方形，都本身有一定內(nèi)在結(jié)構(gòu)。流形就是試圖用非線性的方法找到內(nèi)在結(jié)構(gòu)，然后把它映射到低維的空間里面去。這個(gè)好像要講深了，我先不做擴(kuò)展（涉及拓?fù)鋷缀危?。后面好幾個(gè)章節(jié)要提到流形，流形這個(gè)概念是需要了解的，后面自編碼器章節(jié)還會(huì)提到。
這是一個(gè)復(fù)合、螺旋形的數(shù)據(jù)集，在空間里面顯示出來是這個(gè)樣子，用線性方法是不可能分開的。流形怎么辦呢？近似于找到一種非線性的方法，假設(shè)這兩個(gè)小人，把它拉伸，拉開之后，不同的類別就能夠分開了。流行學(xué)習(xí)就相當(dāng)于這兩個(gè)小人把二維流形拉平了，從非線性的變成線性的。
這個(gè)圖說的是PCA，2006年之前這種方法是非常實(shí)用的，一旦提到降維首選是PCA?；舅枷刖褪窃跀?shù)據(jù)集里面方差變化最大的方向和垂直的方向選了兩個(gè)主成分，就是V1和V2這兩個(gè)主成分，然后對數(shù)據(jù)集做些變換，它是線性的。
非線性分布的情況，PCA是不行的，其他的線性方法也是不行的，必須用非線性。
這里要提到降維方法，降維其實(shí)用到的相關(guān)方案是非常多的，主要分成兩類，一類是人工的方法，像信息論里面有一個(gè)霍夫曼編碼，霍夫曼編碼也算是一種降維，它是一種可逆的方法；然后還有其他的自動(dòng)化方法，因?yàn)槿斯ぎ吘故谴鷥r(jià)比較大的，所以需要找自動(dòng)化方案，比如PCA，非線性的t-SNE，還有后面的自編碼器等等。
下面這張圖概括了常用的數(shù)據(jù)降維方法，線性方法有PCA、LDA，非線性的方法又分成保留局部特征和保留全局特征，再往下有很多很多，大家去自己去了解。
不過，圖里沒有提到t-SNE，因?yàn)閠-SNE是新出來的，2012年左右開始流行起來的，它其實(shí)是Geoffery Hinton團(tuán)隊(duì)發(fā)明的，現(xiàn)在的用途主要在高維數(shù)據(jù)的可視化上。
像這樣一個(gè)數(shù)據(jù)集，在三維空間里面，它是一個(gè)服從球面分布的一個(gè)數(shù)據(jù)集，然后用不同的非線性方法進(jìn)行降維，總體上還分的還是不錯(cuò)的。不同的顏色它分得比較清，沒有大的混雜，基本上可以的。
再看一個(gè)，這是S型的結(jié)構(gòu)，經(jīng)過這幾種非線性的方法進(jìn)行降維之后，也分得比較清楚。
拿MNIST數(shù)據(jù)集來說明。MNIST是手寫數(shù)字的一些圖片，按照行方向拉伸成一維向量。因?yàn)檫@個(gè)圖片是28×28的，所以拉伸成的一維向量是784維。由于維度比較高，人能直觀看到的基本是二維或者三維的，所以這里面取兩個(gè)像素點(diǎn)，比如圖像里面第18行第15列這一個(gè)像素點(diǎn)，還有第7行、第12列這個(gè)像素點(diǎn)。然后一個(gè)X軸、一個(gè)Y軸可視化一下，看它的區(qū)分度怎么樣。顯然從這個(gè)結(jié)果上看不怎么樣，不同的顏色都分的比較零散；所以直接取其中的幾個(gè)像素來分，分不清。
那么看一下PCA是什么樣的效果。它會(huì)把里面784維做一個(gè)降維，然后取了兩個(gè)主成分，X軸Y軸是兩個(gè)主成份。跟上面一張圖相比，效果還是挺顯著的，周圍顏色已經(jīng)比較靠近。但是中間一坨就不行了，這是它的局限性，部分的分割效果還行。
看著好一點(diǎn)的是t-SNE，明顯跟上面不是一個(gè)量級的，不同的顏色聚合的比較緊，而且不同顏色之間還有一些分隔線，這些區(qū)域還非常清晰，這就是它厲害的地方。t-SNE在非線性降維里面絕對是排名第一的。
剛才講的是第一部分，多而雜、淺顯、不好懂，實(shí)際上這本書也是按照這個(gè)傳統(tǒng)思路來講的。數(shù)學(xué)本身就很抽象，但是，能不能變得更加形象一點(diǎn)呢？可以的。
傳統(tǒng)的教學(xué)方法，從初高中到大學(xué)，不少老師拿著書上的概念，堆公式、只灌輸、不解釋，也不會(huì)告訴你這個(gè)運(yùn)算到底有什么幾何意義，看完之后記不住。這就是為什么很多人覺得以前都學(xué)過，甚至拿了高分，但是現(xiàn)在好像都還給老師了。沒有從感性上去理解透的知識點(diǎn)，背的再多，隨著時(shí)間推移，也都會(huì)忘記。
所以接下來換一種方式。進(jìn)入第二個(gè)環(huán)節(jié)。
我就參考一些資料，比如說第一個(gè)是Essence of Linear Algebra，這是國外高手（3Blue1Brown，非盈利，接受捐助）制作的教學(xué)視頻，可以去YouTube上看，bilibili上也有中文的翻譯版，優(yōu)酷也有了。這個(gè)教程非常好，全部用視頻可視化方法直觀講解線性代數(shù)。第二個(gè)是馬同學(xué)高等數(shù)學(xué)，幾篇公眾號文章也很好，跟3Blue1Brown不謀而合。毫不夸張的說，看完這兩個(gè)教程后，你會(huì)有一種相見恨晚、醍醐灌頂、重新做人的感覺。下面是視頻里的幾個(gè)觀點(diǎn)：
事實(shí)上，國內(nèi)外傳統(tǒng)教學(xué)里一直把人當(dāng)機(jī)器用，各種花式算行列式，不勝枚舉，然而沒有告訴你是什么，為什么？
很多人對數(shù)學(xué)有種與生俱來的恐懼感，不怪你，是某些老師把簡單問題教復(fù)雜了，讓你開始懷疑自己的智商，認(rèn)定自己不是學(xué)數(shù)學(xué)的料，于是，見到數(shù)學(xué)就避而遠(yuǎn)之。
對于初學(xué)者來說，良好的解釋比證明重要得多。 
下面切換我的有道筆記：《線性代數(shù)筆記》。
剛才說的有矩陣是吧？我們來看一下矩陣到底在干嘛。這個(gè)(x y z)這是一個(gè)向量，一個(gè)矩陣對它進(jìn)行變換之后變成了(ax by cz)，對應(yīng)的就是把原來的X、Y、Z三個(gè)方向分別作a、b、c放大。
在圖上面怎么理解呢？看這個(gè)，這是一個(gè)矩陣，來看著坐標(biāo)系的變化。這個(gè)是在X軸方向做1.5倍的放大，這是在Y軸的方向上做縮小到一半，效果就是這樣子。X軸Y軸都做了一個(gè)縮放動(dòng)作，對應(yīng)的軸上面的坐標(biāo)和點(diǎn)也要做這樣的縮放，整個(gè)空間都被拉伸了，X軸方向被拉伸，Y軸方向被壓縮。
假設(shè)取這些二維平面上的樣本點(diǎn)，變化完之后就成這樣的。X的范圍從-1到1，變成了-1.2到+1.2，也就是在X方向做1.2倍的放縮，Y軸方向1.3倍的放縮（樣本點(diǎn)之間距離拉開了）。
如果這里面有一個(gè)負(fù)值又是什么概念呢？就是軸方向的變化（術(shù)語：手性變化，比如左手變右手）
比如這個(gè)Y軸的有一個(gè)負(fù)號，剛才是0.5，現(xiàn)在是-0.5，那就是把Y軸往下翻，負(fù)號就是反向，類似一個(gè)鏡面反射。如果X也是負(fù)的話，就是相對于坐標(biāo)原點(diǎn)的中心對稱。
這里面放一個(gè)圖形，看起來會(huì)更加直觀一些。M這個(gè)形狀的數(shù)據(jù)集，經(jīng)過這個(gè)變換之后成這樣。對角線的第一個(gè)元素是作用在X軸上面的，X軸沿著Y軸作了一個(gè)對折，也就是鏡面反射，原來M在這兒，翻過來到這，就是這個(gè)矩陣的作用；Y軸上沒有任何變化，因?yàn)槭?，不放大也不縮小。第二個(gè)里Y軸是負(fù)數(shù)，那么反過來就是沿著X軸翻一下。
如果兩個(gè)都是負(fù)，那就是中心對稱，從第一象限翻到了第三象限。
如果里面有這樣情況，這就是矩陣不可逆的情況，它的行列式是0。0的話會(huì)有什么變化？原來這是一個(gè)坐標(biāo)系，到這里變成一條線了，這就是做了一個(gè)降維操作，把兩維的變成一位了。那一位能返回去嗎？不可能的，所以這叫不可逆。
這個(gè)跟剛才相比的話，多了右上角一個(gè)元素0.3，這是一個(gè)上三角矩陣，是什么意思呢？看一下圖的結(jié)果，沿著Y軸方向是不變的，X方向就做了一種錯(cuò)切，也叫推移。形象理解就是站在上面，然后把箱子往這邊推，底部是不動(dòng)的，那么就有一個(gè)推移的動(dòng)作。為什么會(huì)這樣？大家可以拿這個(gè)矩陣，隨機(jī)取一個(gè)點(diǎn)去感受一下。
第一行始終作用在X軸方向上，它跟原來相比加了一項(xiàng)。說明X軸方向做了追加，把Y軸的信息拿過來追加延長X軸，而Y軸沒有變化，所以Y是不變的，X是要做拉伸的。
紅色的這個(gè)矩陣變到藍(lán)色就有一種錯(cuò)切，有一股力從左邊往右推。
這也是推移以后的效果。
剛才說的是上三角，然后變成下三角怎么樣？那就是反過來，X軸不變，沿著Y軸方向推移，到這兒。
好，這一部分講的是旋轉(zhuǎn)。M通過這個(gè)矩陣就進(jìn)行了旋轉(zhuǎn)，這是個(gè)正交矩陣，正交就是矩陣行列式的值為1，意思是說是X和Y軸是不做任何縮放的，只做以原點(diǎn)為中心的旋轉(zhuǎn)。這就是做一個(gè)旋轉(zhuǎn)，按照π/4的角度做旋轉(zhuǎn)。
剛才說了幾種變化，第一個(gè)旋轉(zhuǎn)，第二個(gè)錯(cuò)切，第三個(gè)平移，加上縮放。線性變換里不包含平移；線性變換加上平移的話，那就是仿射變化。
那么到底什么是線性變換？線性空間的任意點(diǎn)在變化前后一直保持等距分布！
下面不是線性變換，因?yàn)榫嚯x不等。
矩陣分解是說，每一個(gè)矩陣都是由這幾種基礎(chǔ)的變化組合而成的。這部分過了，有點(diǎn)難度。數(shù)學(xué)分析里這門課講到矩陣的話，運(yùn)算代價(jià)非常大的，怎么讓計(jì)算機(jī)跑起來更快呢，就做矩陣分解，把一個(gè)大矩陣分成幾個(gè)小矩陣，算起來更快。矩陣分解的一個(gè)基本目的就是提高計(jì)算效率。
接下來講矩陣的特征值和特征向量。先有直觀概念，特征向量反映的是經(jīng)過這次變換之后它的變化方向；特征值反映的是變換的幅度。為什么會(huì)這樣？往下看。
這是一個(gè)坐標(biāo)系X和Y，上面有一個(gè)向量，或者說二維平面上的一個(gè)點(diǎn)，乘以一個(gè)矩陣之后變成這樣了。
再乘以另外一個(gè)矩陣可能變成這樣。看看圖像區(qū)別的話，v乘它之后仍然在這個(gè)方向上；變換前后的差別就是方向不變，只是大小做了拉伸。如果符合這樣的情形的話，那么λ就是A的一個(gè)特征值，v就是A的一個(gè)特征向量。A矩陣可能還有其他的情形，可能還有其他一些特征值和特征向量。矩陣特征值分解的效果，就是對一個(gè)矩陣A，在平面上找到所有滿足這種關(guān)系的向量集合。
這就是特征值表示的一些傳統(tǒng)公式，A矩陣乘以一個(gè)向量，得到一個(gè)特征值乘一個(gè)向量，反映的就是在v的方向上面拉伸了多少倍。這就是通過特征值分解揭示矩陣本身的特性。
剛才提到一個(gè)特征向量和一個(gè)特征值，還有沒有其他的？有的，這個(gè)也是，這個(gè)V就是它的一個(gè)特征向量，長度也對應(yīng)一個(gè)特征值，這是A矩陣的兩個(gè)特征值。
A矩陣對應(yīng)的兩個(gè)特征向量和兩個(gè)特征值，如果對特征向量做數(shù)乘，比如拿這個(gè)V1乘以2、乘以3；每一個(gè)特征向量經(jīng)過數(shù)乘操作組成的空間叫做特征空間。
這里有一種近似的、形象的表述，就是矩陣是一種運(yùn)動(dòng)。運(yùn)動(dòng)在物理里面運(yùn)動(dòng)就有兩個(gè)概念，第一個(gè)往哪走，第二個(gè)走多少，對應(yīng)的是速度加上方向。
運(yùn)動(dòng)是動(dòng)態(tài)的，點(diǎn)表示瞬時(shí)的狀態(tài)。站哪個(gè)位置是靜態(tài)的，要觀察到運(yùn)動(dòng)必須要借助一種實(shí)體，比如說要觀察跑步現(xiàn)象，總得要找個(gè)實(shí)物，比如看人跑、還是看豬跑、看老虎跑，你總要找個(gè)物體附上去才能夠看到它的變化過程。
對同一種運(yùn)動(dòng)，A代表這種運(yùn)動(dòng)，如果應(yīng)用到一個(gè)向量上面多次，它會(huì)產(chǎn)生什么樣的變化？像A這個(gè)矩陣是一種變換，作用到V這個(gè)特征向量上，一次得到的點(diǎn)是在這兒，兩次到這，三次四次跑到這邊來了。7次就沿著這個(gè)方向，然后如果8次、9次仍然這個(gè)方向。這里有種奇怪的現(xiàn)象，就是對一個(gè)向量做線性變換，N次以后它會(huì)趨近于一個(gè)方向走，就不會(huì)再繼續(xù)變方向了。
這個(gè)方向?qū)嶋H上是有一定的意義的，這個(gè)方向就是矩陣分解的最大特征值對應(yīng)的方向。簡單說就是反復(fù)利用矩陣乘法都會(huì)有一個(gè)最明顯的特征，就是整個(gè)運(yùn)動(dòng)方向會(huì)朝著矩陣的最大的特征向量方向走，這是它的幾何解釋。在一般的代數(shù)里面，可能你根本想不到這一點(diǎn)。
補(bǔ)充：這是我自己補(bǔ)充的，一開始向量往這個(gè)方向走，變化特別大，這都反映的是矩陣本身的特征值，貧富懸殊非常大。兩個(gè)不同方向上的特征值，一個(gè)是另一個(gè)的很多倍，它們的懸殊非常大。這種情況叫有一種術(shù)語叫病態(tài)，它的衡量是通過條件數(shù)，條件數(shù)的概念就是一個(gè)矩陣的最大特征值與最小的特征值之間的倍數(shù)。最大特征值除以最小特征值得到的倍率比如是3，還可以是10，肯定是10的時(shí)候病態(tài)更嚴(yán)重，已經(jīng)病得無藥可救了。
對這種矩陣做變換的話，你就要特別小心。在梯度下降里面如果碰到這種矩陣的話，很容易在整個(gè)優(yōu)化空間里不停地震蕩，很難收斂。
接下來看特征分解。這一個(gè)矩陣分解完之后，中間是個(gè)對角陣，對應(yīng)的就是每一個(gè)特征值。像A這個(gè)矩陣，做一個(gè)特征分解之后，兩個(gè)特征值是3和1，然后左邊右邊對應(yīng)的就是一個(gè)特征向量。比如說左邊矩陣的第一個(gè)列向量就是3這個(gè)特征值對應(yīng)的特征向量，不信你可以試一下。
同理，左邊矩陣的第二個(gè)列向量就是1對應(yīng)的特征向量.這就是一一對應(yīng)的特征向量。左右兩個(gè)矩陣相比就是做了個(gè)轉(zhuǎn)置而已。另外矩陣?yán)锸钦幌蛄?，左右的矩陣只?huì)做旋轉(zhuǎn)，不會(huì)做縮放；中間的對角矩陣有縮放。所以整個(gè)A矩陣的作用既有旋轉(zhuǎn)又有縮放。
所以特征值是一種拉伸，衡量沿著特征向量的方向拉伸多少；然后特征向量就是拉伸的方向。所以到現(xiàn)在應(yīng)該比較好理解我們上來就說的那句話，叫特征值和特征向量就對應(yīng)運(yùn)動(dòng)的速度和方向。
這個(gè)部分是講矩陣的秩和線性方程組之間的關(guān)系。Ax=b這樣一個(gè)線性方程組，它有唯一解的充要條件是矩陣的秩，等于它的增廣矩陣的秩，等于N。這也就是說滿秩，滿秩的方程才有解；無解的條件就是它的矩陣的秩小于增廣矩陣，簡單說就是A不是滿秩的，或者它是不可逆的；如果有多種解呢，像這樣加上增廣矩陣之后仍然小于N。這是數(shù)學(xué)上的表達(dá)，但還是不夠形象。
那么現(xiàn)在形象理解一下，我把線性方程組做下簡化，變成二元線性方程組。方程組畫在空間里面就是兩條直線，同時(shí)滿足這兩個(gè)方程組的解，就是兩條直線的交叉。只有這一個(gè)點(diǎn)同時(shí)滿足這兩個(gè)方程，直觀地看出來這是唯一解。所以這么理解的話，唯一解就是有且只有一個(gè)交點(diǎn)；無解的話，把一條直線變得和另一條平行，兩條直線根本就沒有交點(diǎn)，就是無解；有很多解呢，就把平行的直線往一起靠，疊加在一起，完全重合了，那么解就可以很多很多，因?yàn)橹本€可以包含任意無窮多的點(diǎn)。
看一下，矩陣解線性方程的幾何意義。這個(gè)空間上面X軸Y軸，取了一組正交基i=(1,0)和j=(0,1)，然后空間里的點(diǎn)就可以ai+bi來表示，a、b是任意實(shí)數(shù)，這就是i和j張成的線性空間。
這個(gè)如果i和j共線，就是說i和j可以通過i=kj這個(gè)方式表達(dá)的話，就是共線。共線就相當(dāng)于是一個(gè)降維操作，把原來的二維空間變成了一維的，這是不可逆的。
A是這個(gè)矩陣在對整個(gè)的方程的線性空間做變換，就是旋轉(zhuǎn)。整個(gè)變換過程里，X點(diǎn)相對于變換后的這個(gè)坐標(biāo)系是沒有變化的，相對位置沒有變化，但是相對于原來那個(gè)坐標(biāo)系就發(fā)生了變化。
用形象的方法理解，好比我們?nèi)プ卉嚕囋趧?dòng)，我們也在動(dòng)；我們相對于車是靜止的，但是我們相對地面是運(yùn)動(dòng)的。我們相對與地面運(yùn)動(dòng)的過程就是一個(gè)矩陣對一個(gè)向量做變化之后的效果，像這樣。
地球坐標(biāo)系就相當(dāng)于地面，上車，再返回地球，就發(fā)生了位移。這個(gè)變換對空間里面每一個(gè)點(diǎn)都發(fā)生了變換。
回到線性方程組。Ax=b是線性方程的一種表示，它的形象解釋就是找到這樣一個(gè)向量，它在線性變換之后變到了B點(diǎn)，我們要找到x，就是b原來的樣子，是一個(gè)可逆的操作。這就是線性方程組的含義。
這一部分是我自己補(bǔ)充的。
比如剛才說從x到b，能不能從b回到x呢？如果可以，那就是可逆，對應(yīng)的A這個(gè)變化是可逆的；如果不能，那就是不可逆。
這個(gè)不可逆，又是怎么理解？這就是一種降維打擊，比如說把一個(gè)立方體拍成一個(gè)平面，像一張紙；然后把紙揉成一個(gè)團(tuán)，然后再直接打到十八層地獄。這些就是降維打擊，是不可恢復(fù)的。
不可逆的時(shí)候怎么辦，想盡可能回去，有點(diǎn)偏差也行。偽逆就是這樣的時(shí)光隧道（變成冤魂野鬼，回到當(dāng)初的地點(diǎn)），對逆做一個(gè)擴(kuò)展。一般的線性方程組里面有很多樣本，點(diǎn)非常多；矩陣是不可逆的，那就求他的最小二乘解，讓這條直線盡可能靠近所有點(diǎn)，這就是一種近似的方法，也就是不可逆，但是我們盡可能讓他回去（中國人深入骨髓的思想：落葉歸根）。
還有個(gè)概念，既然有降維，那就有升維。升維該怎么理解呢？假設(shè)從北京到西藏，要坐火車，時(shí)間很長，可能兩天三夜，很累。但是有錢人，直接坐飛機(jī)嗖的一下就到了，這就是升維。飛機(jī)飛行的路線在垂直高度上是有差別的，火車的高度全程差別不大。（不同維度下的生活方式不同，有個(gè)笑話：“等我富了，天天吃包子！”，富豪的世界你不懂，乞丐的世界，你也不懂）
特征分解怎么理解呢？公交車沿著既定路線走，先往東兩千米，再往西三千米，然后再往東北五千米，然后就到家了。這里的方向就是特征向量，走的幅度兩千米、三千米、五千米就是特征值。行列式是什么意思？就是這個(gè)路線的長度。這樣理解應(yīng)該就直觀得多了吧。
行列式大于零有放大的作用；行列式等于0是降維的作用，不可逆的；行列式小于零，是在坐標(biāo)系上面做了一個(gè)反射。注：行列式和特征值與坐標(biāo)系無關(guān)，反應(yīng)的是矩陣本身的特質(zhì)。
這是2×2的一個(gè)矩陣，我們看一下改變行列式的大小會(huì)有什么效果。當(dāng)行列式是大于1的，就有一個(gè)放大作用；如果我調(diào)小行列式的值，就縮小，然后到1是不變的；在0到1這個(gè)范圍內(nèi)就縮小；注意看這一點(diǎn)，如果等于0的話就降維了，變成一個(gè)點(diǎn)了；再往右邊，行列式是負(fù)數(shù)，A和B翻過來了，沿著Y軸把X軸往這邊反射；然后縮放的情況跟正像方向是一樣的。這個(gè)過程就好理解，這叫行列式的幾何意義。
最后以一張圖結(jié)束：
雷鋒網(wǎng) AI 科技評論整理。感謝王奇文嘉賓的分享以及幫忙補(bǔ)充校對本文。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
