雷鋒網(wǎng)AI研習(xí)社按：近年來，隨著深度學(xué)習(xí)在圖像和語音上的快速發(fā)展，更多領(lǐng)域的開發(fā)者們紛紛將目光投入到這個(gè)新興的領(lǐng)域，但是是否深度學(xué)習(xí)適用于大多數(shù)實(shí)際場景呢？是否深度學(xué)習(xí)一定優(yōu)于傳統(tǒng)的統(tǒng)計(jì)方法以及機(jī)器學(xué)習(xí)方法呢？在本次公開課中，作者結(jié)合實(shí)際在杉數(shù)科技的實(shí)際項(xiàng)目經(jīng)驗(yàn)，為大家解析深度學(xué)習(xí)的技術(shù)細(xì)節(jié)以及實(shí)際效果。

 

分享嘉賓：添然，杉數(shù)科技高級(jí)算法工程師，美國明尼蘇達(dá)大學(xué)本科及碩士學(xué)位，專業(yè)是自動(dòng)化控制和計(jì)算機(jī)科學(xué)。2017年三月加入杉數(shù)科技，主要負(fù)責(zé)收益管理及需求預(yù)測。

公開課鏈接：http://www.mooc.ai/open/course/672?=from%20leiphone

 

分享主題：時(shí)序預(yù)測中深度學(xué)習(xí)介紹

 

分享提綱：

• 深度學(xué)習(xí)背景介紹

• 深度學(xué)習(xí)算法概述

• 實(shí)際案例分析

• 推薦閱讀

 

雷鋒網(wǎng)AI研習(xí)社將其分享內(nèi)容整理如下：

簡單自我介紹一下，我是杉數(shù)的算法工程師，主要負(fù)責(zé)機(jī)器學(xué)習(xí)、數(shù)據(jù)分析相應(yīng)的工作，有一定零售業(yè)預(yù)測的經(jīng)驗(yàn)，今天在這里主要跟大家分享一下相關(guān)經(jīng)驗(yàn)，這是今天的主要提綱，如圖：

首先背景方面，相信大家對(duì)深度學(xué)習(xí)這個(gè)詞語并不陌生，那什么是深度學(xué)習(xí)呢？如果結(jié)合圖的話，他有不同的層，并且不用的層協(xié)調(diào)處理一些特征篩選，達(dá)到最終的目的。

為什么使用深度學(xué)習(xí)呢？圖中這三篇論文奠定了近年來深度學(xué)習(xí)的基礎(chǔ)，不過我把為什么使用深度學(xué)習(xí)歸結(jié)為兩個(gè)點(diǎn)，第一個(gè)是大數(shù)據(jù)，企業(yè)中積累大數(shù)據(jù)為深度學(xué)習(xí)提供了燃料，第二個(gè)就是高性能計(jì)算，GPU在深度學(xué)習(xí)中大放異彩，這兩個(gè)點(diǎn)在我看來是重要的推動(dòng)因素。

下面簡單過一下一些基本的應(yīng)用，如圖像上的應(yīng)用：

 

NLP上的應(yīng)用：

接下來會(huì)簡單提一下深度學(xué)習(xí)兩個(gè)基礎(chǔ)的框架構(gòu)成，首先就是卷積神經(jīng)網(wǎng)絡(luò)，總結(jié)下來有五個(gè)部分，另一些卷積神經(jīng)網(wǎng)絡(luò)的變種，也是萬變不離其宗，只是對(duì)這五部分做了一些針對(duì)性的調(diào)整，如下圖：

折射到今天的話題，假設(shè)要做一個(gè)持續(xù)預(yù)測，那如何利用卷積神經(jīng)網(wǎng)絡(luò)呢？一般遇到的預(yù)測問題都是偏一維的，比如預(yù)測天氣、商店的銷量等，借鑒這個(gè)思路，使用一維的卷積神經(jīng)網(wǎng)絡(luò)，據(jù)圖示output是預(yù)測的樣本點(diǎn)，可以利用之前的樣本點(diǎn)進(jìn)行輸入。作為卷積神經(jīng)網(wǎng)絡(luò)，有滑動(dòng)窗口這樣一個(gè)概念，所以能夠通過滑動(dòng)序列來產(chǎn)生這樣的特征。如何做到能夠提取更多特征呢？那就需要疊加更多的卷積層，這樣可以獲得更多的特征提取能力。簡單來說一維卷積神經(jīng)網(wǎng)絡(luò)是作為持續(xù)預(yù)測比較的一種方式，并且也是大家喜歡嘗試的一個(gè)方向。

 

接著就是循環(huán)神經(jīng)網(wǎng)絡(luò)，他天然具有某些時(shí)序處理的能力。圖中我列的是一個(gè)比較復(fù)雜的模型，不過原理幾乎差不多。

  

Google提出的Encoder-Decoder模型主要用于語音生成等相關(guān)的部分，Encoder將模型儲(chǔ)存成context，然后再傳給Decoder。這個(gè)模型在當(dāng)時(shí)Google翻譯中是非常成功的。雖然這個(gè)模型很簡單，但確實(shí)是一個(gè)非常經(jīng)典的預(yù)測模型，在實(shí)際應(yīng)用中也很常見。

  

下面我來介紹一下案例，一個(gè)案例就是某大型出行平臺(tái)的交通預(yù)測。要做的是預(yù)測給定地理區(qū)域未來某個(gè)時(shí)間段的出行供需缺口，比如北京東城區(qū)八點(diǎn)到八點(diǎn)半這段時(shí)間會(huì)有多少人要打車，訂單數(shù)據(jù)可能是得到的最基礎(chǔ)的數(shù)據(jù)，但還有一些其他數(shù)據(jù)，例如城市POI信息，交通擁堵信息、天氣信息等，這些數(shù)據(jù)是我們預(yù)測時(shí)主要考慮的幾個(gè)方面。

  

怎么構(gòu)建深度學(xué)習(xí)的模型呢？把一些固有的屬性用Embedding的方式處理，并將它們連接起來，就構(gòu)成了Identity Block,Older Block和User Block就是針對(duì)訂單相關(guān)的數(shù)據(jù)，Supply Block就是對(duì)應(yīng)天氣類交通類的特征。右邊圖示使用的殘差連接可以使訓(xùn)練得到更好的收斂性，還可以有效緩解梯度消失這個(gè)問題。圖示就是整個(gè)深度學(xué)習(xí)的框架。

  

那么效果如何呢？從這幅圖看出，深度學(xué)習(xí)在一些峰值的預(yù)測上效果是非常不錯(cuò)的，有些可能跟機(jī)器學(xué)習(xí)的方式差不多，但在拐點(diǎn)的預(yù)測方式上優(yōu)勢還是比較明顯。

 

下一個(gè)例子就是件量預(yù)測，這也是時(shí)序問題，在預(yù)測的時(shí)候也會(huì)得到一些歷史數(shù)據(jù)，方法也與上面的例子類似，因?yàn)橹懒松疃葘W(xué)習(xí)一些大的框架，其他細(xì)節(jié)方面做一些小的調(diào)整就行，基本的建模思路跟前者差不多。

  

來看看結(jié)果，這張圖的結(jié)果可能比上一張更能反映深度學(xué)習(xí)的一些特性，同樣深度學(xué)習(xí)模型在一些峰值和谷值的預(yù)測更準(zhǔn)確一些。但從圖中可以看出，如果將兩種模型進(jìn)行簡單的融合，得到的結(jié)果會(huì)更準(zhǔn)確一些。

  

總體來看，以上是在實(shí)際經(jīng)驗(yàn)中比較有代表性的例子，在預(yù)測拐點(diǎn)這種問題上深度學(xué)習(xí)可能更容易發(fā)現(xiàn)某種規(guī)律，不過實(shí)際中如果想要一個(gè)更準(zhǔn)確的模型，深度學(xué)習(xí)模型和其他模型融合起來的方式會(huì)比較好一點(diǎn)。

接下來給大家推薦一些讀物，如圖示：

  

今天分享的內(nèi)容大概就這么多，謝謝大家。

 

以上就是本期嘉賓的全部分享內(nèi)容。更多公開課視頻請(qǐng)到雷鋒網(wǎng)(公眾號(hào)：雷鋒網(wǎng)) AI 研習(xí)社社區(qū)（https://ai.yanxishe.com/?=from%20leiphone）觀看。關(guān)注微信公眾號(hào)：AI 研習(xí)社（okweiwu），可獲取最新公開課直播時(shí)間預(yù)告。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。