0
| 本文作者： 老王 | 2017-01-28 09:55 |
雷鋒網(wǎng)按：“算法”這兩字在人工智能圈已然成為“高大上”的代名詞，由于不少在校生和職場新人對它的過度迷戀，多名 AI 資深人士均對這一現(xiàn)象表示擔憂。李開復曾這樣說到：
現(xiàn)在的 AI 科學家大部分是在科研環(huán)境中培養(yǎng)出來的，不但欠缺工程化、產(chǎn)品化的經(jīng)驗，而且對于錯綜復雜的商業(yè)環(huán)境也并不熟悉，更缺乏解決實際問題所必須的數(shù)據(jù)資源。
隨著開源框架層出不窮，人工智能產(chǎn)品化和商業(yè)化進程不斷加速，使得算法的門檻逐漸降低，但對工程的要求不斷在提高。這種情況下，實際應用和工程能力基礎扎實的技術人才變得異常搶手。
其實 AI 新人們在進入職場后也愈發(fā)意識到這個問題，那他們該如何提升自己的實戰(zhàn)能力？
雷鋒網(wǎng)特邀王剛為大家講述機器學習的實戰(zhàn)與應用，王剛根據(jù)工程、產(chǎn)品、業(yè)務等多個維度幫大家梳理如何系統(tǒng)地去學習機器學習。
王剛，前樂視大數(shù)據(jù)總監(jiān)，現(xiàn)任某電商平臺大數(shù)據(jù)總監(jiān)。10 年大數(shù)據(jù)領域工作經(jīng)驗，具有 Hadoop 和 Spark 生態(tài)相關技術的實際應用經(jīng)驗。目前專注于機器學習，搜索和推薦系統(tǒng)的設計和開發(fā)。
以下為王剛所撰寫的正文：
機器學習對很多初學者來說，最大的學習困難和障礙就是模型、算法、“眼花繚亂”的數(shù)學公式所帶來的抽象感，無法有效的建立起直覺上的理解。所以本文的目的是嘗試給初學者具體的學習方式建議，以幫助初學者打通機器學習的任督二脈，然后通過不斷的學習和實踐，使得自己在機器學習領域的專業(yè)能力持續(xù)提升。
當前被提及的高頻詞語是“AI人工智能”、“機器學習”、“深度學習”。那這些詞語背后所代表的技術之間到底是什么關系呢？充分的理解這個關系，有利于建立起更加系統(tǒng)的專業(yè)學習框架。
首先，我們要搞明白機器學習到底學習的是什么，答案是模型“參數(shù)”，比如Y=AX+B是個機器學習的模型，通過樣本數(shù)據(jù)，可以學習出參數(shù)A和B的確定值。然后基于這兩個參數(shù)，對模型進行泛化，即對給定的X對Y進行預測。明白了機器學習到底是學習什么之后，我們一起看看下圖來搞清楚機器學習與人工智能和深度學習之間的關系。
如上圖所示，人工智能是最大的一個范疇，人工智能的實現(xiàn)目前看主要有兩種途徑：一種是基于腦科學的方式來實現(xiàn)智能。另一種是基于機器學習的方式來實現(xiàn)智能，這種方式的假設是當學習的數(shù)據(jù)足夠充分，就可以大概率的逼近事實。
再回到公式Y=AX+B，我們可以看到機器學習是通過X和Y來學習出參數(shù)A和B，而在機器學習中，X是人工構造的特征，Y是人工進行標注的標簽。一句話，機器學習就是通過構造X和Y來學習參數(shù)A和B。但通常情況下，構造X和標注Y需要耗用大量的人力和時間。所以，對于如何更智能的構造X和標注Y是機器學習很重要的研究方向。深度學習的一個重要作用就是能夠更智能的構造X，即進行更好的特征表示。所以深度學習是機器學習的一個子集。那如何更好的標注Y呢，當前流行的對抗生成網(wǎng)絡（GAN）就是一種解決方案。
機器學習的三個關鍵要素是模型、策略、算法。模型指的是具體的機器學習模型，比如決策樹、SVM、神經(jīng)網(wǎng)絡、LDA等具體模型。策略指的是最小化模型結構性風險的手段，即避免模型欠擬合和過擬合的應對策略，在這里專指正則化（Regularization）。算法指的是建立好模型之后，如何對模型中的參數(shù)進行學習。也即最優(yōu)化的方法。所以，初學者需要掌握的基礎知識為：
1.導數(shù)與微積分，以及還需要對泰勒展開式、拉格朗日等定理和公式有充分的掌握。這是進行算法推導的基礎中的基礎。
2.線性代數(shù)，矩陣運算等要做到熟練掌握，因為機器學習的最優(yōu)化算法中涉及到的復雜計算需要線性代數(shù)好矩陣運算的內(nèi)容。
3.概率論，概率論的基礎知識是理解像極大似然、最大熵、EM算法、貝葉斯網(wǎng)絡、概率圖模型的基礎。
4.最優(yōu)化，機器學習中的模型訓練是通過對模型中參數(shù)的學習來進行泛化推廣。如何對模型中的參數(shù)進行學習是最優(yōu)化要解決的問題。比如線性優(yōu)化、非線性優(yōu)化的各種主要方法（比如梯度下降法、牛頓和擬牛頓法等）要有充分的理解。
5.機器學習模型的思想和具體實現(xiàn)方式要理解透徹。
特征工程，如上面所說就是造X，機器學習實踐中大部分的實踐都在處理特征工程上。所以真正有機器學習實踐經(jīng)驗的人都知道機器學習更多的時間不是高大上的算法，而是苦逼特征工程。工程師每天更多的是基于對業(yè)務的深刻理解，通過構建“更好”的特征，持續(xù)提升模型的準確度。
推薦系統(tǒng)與搜索系統(tǒng)
當推薦和搜索這些字眼出現(xiàn)在網(wǎng)頁中，專業(yè)書籍中，或是大部分的培訓課程中，更多的是與機器學習和算法關聯(lián)起來。這種情況的原因可能是為了迎合機器學習在大部分人認知中的“高大上”吧。
在實際的產(chǎn)品設計和開發(fā)中，推薦系統(tǒng)和搜索系統(tǒng)是有著一個更大概念的系統(tǒng)架構，絕非僅僅是只有機器學習和算法。其中UI/UE的重要性占比為40%，業(yè)務理解重要性占比為30%，數(shù)據(jù)重要性占比為20%，模型重要性占比為10%。
以推薦系統(tǒng)舉例，整個推薦系統(tǒng)的框架應當如下圖所示：
下圖是電商平臺上推薦系統(tǒng)的框架
所以，建議的推薦系統(tǒng)知識學習體系為：
一、推薦系統(tǒng)之整體架構
1.推薦系統(tǒng)的本質(zhì)、目標及價值
2.一個好的推薦系統(tǒng)的相貌
3.線下零售的促銷員與電商平臺的推薦系統(tǒng)的關系
3.推薦系統(tǒng)與搜索的關系
4.主流電商平臺上的推薦系統(tǒng)學習
5.推薦系統(tǒng)的整體架構圖以及如何學習推薦系統(tǒng)
二、推薦系統(tǒng)之策略及模型
1. 基于規(guī)則的推薦算法
2. 基于內(nèi)容(Content-Based)的推薦算法
3. 基于協(xié)同過濾（CF)的推薦算法
4. 基于隱因子（SVD/SVD++/MF/FM/FFM/PLSA/LDA）的推薦算法
5. 推薦結果的排序模型（GBDT+LR，LTR）
6. 數(shù)學基礎及典型最優(yōu)化算法
7.不同場景下的推薦策略（如在電商平臺上，首頁、詳情頁、購物車頁、搜索結果頁等不同場景下的推薦策略）
8.推薦系統(tǒng)評估
如何評估線下模型，如何評估線上效果
三、推薦系統(tǒng)之特征工程
1.用戶畫像如何構建
2.特征工程如何構建，以及如何進行特征分析
四、推薦系統(tǒng)之交互體驗
如何向用戶展示推薦系統(tǒng)的權威性、取得用戶的信任、如何幫助用戶決策、如何獲取用戶反饋。
對于大多數(shù)人來說，如果以抽象的方式開始學習一項內(nèi)容肯定不是最好的方式。相反，先建立起直覺，然后建立具體到抽象的映射，再深入學習抽象部分完成對細節(jié)部分的掌握，最后循環(huán)到具體的應用是適合大多數(shù)人的學習方式。所以對于機器學習初學者建議的學習路徑為：
步驟一：先選擇一門實戰(zhàn)性非常強的機器學習及其應用課程進行學習。目標是通過足夠多具體的應用，能夠深刻理解機器學習的實際使用方式，從而建立起直覺。
步驟二：學習機器學習的理論課程，包括具體的模型算法，最優(yōu)化方法，以及相關的公式推導。過了這一關，就完成了對機器學習細節(jié)的更好掌控。
步驟三：如果能夠立刻參與到機器學習的實際項目中是最好不過了。如果不能，可以去完成Kaggle中的一些比賽項目。
最后，也是最最重要的建議，如果要想“更快速”“更高效”的掌握機器學習，找到合適的培訓課程進行學習是最合適的方式。用錢買時間，買別人的經(jīng)驗，以更高效的方式掌握機器學習后，這些付出的費用可能僅僅是你工作之后月薪的很小的一部分。
在任督二脈打通之后，可以適當?shù)膶Ψ植际酱鎯陀嬎阆嚓P體系的內(nèi)容進行學習。即靠的是個人的持續(xù)修行，在理論與實踐循環(huán)提升中，成長為真正的專家。
PS：為了推動 AI 人才全面化，雷鋒網(wǎng)將為大家提供一個業(yè)界頂級的專業(yè) AI 技術培訓平臺：1024MOOC 。其中王剛老師也會在1024MOOC 開展系統(tǒng)的機器學習實戰(zhàn)培訓課程，具體開課時間在年后一周左右，請大家持續(xù)關注雷鋒網(wǎng)信息。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉載。詳情見轉載須知。
