雷鋒網(wǎng)按：9 月 7 日，首屆人工智能計算大會(AI Computing Conference 簡稱 AICC)在京舉行。本次大會由中國工程院信息與電子工程學部主辦、浪潮集團承辦。

在 AI+互聯(lián)網(wǎng)論壇上，蘇寧人工智能實驗室技術總監(jiān)李偉作為嘉賓以《人工智能在蘇寧的應用》作了演講，就智能視頻內(nèi)容理解、全場景個性化、蘇寧智能機器人平臺三大部分做了詳細介紹。此外，李偉在接受媒體采訪時，就蘇寧無人零售店等方面的情況進行了解答。

以下為李偉演講內(nèi)容實錄，雷鋒網(wǎng)做了不改變原意的編輯：

智能視覺內(nèi)容理解

這部分內(nèi)容在蘇寧應用的比較廣泛，也算比較成熟。重點介紹兩塊，第一塊是敏感和夸張的表達識別?！吨腥A人民共和國廣告法》發(fā)布以后，我們禁止一些夸張的詞語或者一些敏感詞語在廣告，包括文本內(nèi)容和圖片內(nèi)容中出現(xiàn)。所以，我們要盡可能把我們自營的一些商家或者聯(lián)營商家中上傳的圖片和文本表達比較夸大的部分，比如世界第一、很好等等這樣的字眼去掉。

這部分內(nèi)容主要涉及到電商圖片處理，一個是自動反面分析，另一個是單字符識別，另外一部分是視頻監(jiān)控，主要是用在線下門店的。因為我們都知道蘇寧易購有很多線下門店，包括易購、蘇寧小店、蘇寧超市等等，所以我們在很多情況下是需要做一些店面流量監(jiān)控以及熱力圖，可以發(fā)現(xiàn)用戶進店以后會對哪些區(qū)域比較感興趣，是不是有些用戶經(jīng)常到門店里面去，這樣一邊做客流量分析，一邊在店面選址和線下個性化方面做一些輔助。這部分主要涉及到的是單攝像頭和多攝像頭目標檢測和跟蹤，以及在實體店中的一些流量分析。 

首先看一下敏感和夸大表達識別，主要是兩個例子。這是我們剛才介紹的，在圖片中如果有這樣一些字，我們會做檢測，最后做一個基本的校正。

這是一些識別樣例，我們會自動做一些反面分析，然后做字符區(qū)域檢測，最后做文字識別。這是我們檢測出來相對來說敏感或者夸大的表達，比如說電池廣告有最持久、業(yè)績第一等等，這樣的表達是新《廣告法》禁止的，我們有可能把類似這樣的圖片做一個識別和去除。

第二部分，視頻監(jiān)控是我們部署在門店里的一個攝像頭，主要是在入口區(qū)域。這部分是我們希望去監(jiān)測客流量的，實際上這個攝像頭目前我們部署的并不是特別多，主要是做人臉識別，目前只是針對個人做一些去重。

然后是我們部署在店中的攝像頭，通過熱力圖分布可以看到用戶對于 3C 數(shù)碼產(chǎn)品，看展品的用戶分布非常多，在其他桌面上是非 3C 數(shù)碼的線下產(chǎn)品，那些區(qū)域用戶分布并不是特別多。這樣我們給店面的展品布局一些指導意見，如果發(fā)現(xiàn)有一些展品持續(xù)一周、兩周，甚至一個月時間沒有什么人觀看，我們會及時做展品的上下架。

全場景的個性化 

蘇寧易購有線上電商和線下門店，線上電商基本有 PC 和手機端 APP，我們會在很多頁面上，像首頁以及商品詳情頁和購物車都會做一些個性化，基本方法是采用業(yè)界比較主流的用戶畫像，包括用戶基本描述，以及對類別品牌偏好等等。另外一部分是商品畫像，主要是商品自身的一些描述，用當前比較主流的模型做個性化推薦。

首先看一下會話系統(tǒng)，這是一個基于搜索的問答系統(tǒng)以及基于回顧模型智能客服，然后是簡單的 Demo。70 年代主要是用圖書館搜索的方法，延續(xù)到 90 年代以及 2000 年初的時候，Library Search 已經(jīng)興起，2015 年隨著搜索技術發(fā)展，基于社區(qū)的問答、基于知識圖譜和知識庫的問答不斷的興起，這個時候會話系統(tǒng)已經(jīng)逐漸的成熟，但實際上會話系統(tǒng)也不是 2015 年出現(xiàn)的，而是存在了很長的時間，只是之前沒有引起足夠的重視，2015 年出現(xiàn)了很多聊天機器人、客服機器人，學術界和工業(yè)界特別重視這個領域的研究。

接下來是 Question Answering Overview 的解說，自動問答是有一個自動算法的，能夠自動回答用戶提出的問題。目前來說，自動問答有一個基本分類，按照問題類型可以分為是否類問題、觀點類問題、事實類問題和比較類問題。按照內(nèi)容類型來分可以分成文本回答和可視化回答。

文本回答就是用戶的問題以及答案，其實都是文本的，但是可視化問答就是你的提問可以用圖片來表達，機器人回復的時候也可以給你一個圖片，這是多模態(tài)問答系統(tǒng)?？偟膩碚f，自動問答是整個會話系統(tǒng)后面的一個核心的技術。

這個是基于信息檢索系統(tǒng) Q&A 的基本架構。剛才我們介紹，Q&A 的實驗可以分三大類，一類是基于信息檢索的，還有一類是基于社區(qū)的問題，像百度知道，還有知乎等等。另外一類是基于知識庫或者知識圖譜的問答，這個相對來說比較火。

首先我們會做一個問題的提問，根據(jù)問題預定一個答案，做一個基本的分類。第一步是去檢索一些相關文檔，從文檔中檢索一些相關段落，最后再從段落中提取出我們想要的答案，再反饋給用戶。

舉個例子，比如我想買一部蘋果手機，這個時候的答案可能是一些商品推薦或者說商品建議。如果事先不做問答設置的話，有可能反饋回來的是富士蘋果，我們知道蘋果手機是 3C 產(chǎn)品，跟我們吃的蘋果是不一樣的。

接下來介紹一下會話系統(tǒng)類型，可以分成兩類，一類是 Chatbot，閑聊陪伴機器人；另一類是助理型任務型機器人，它可以幫你完成某一項具體的任務。閑聊陪伴機器人像微軟小冰和百度的小度機器人。任務型機器人像微軟小娜，蘋果 Siri 等等。一些大公司和創(chuàng)業(yè)公司都有很多閑聊型機器人和助理型機器人推出，效果也都很不錯。

接下來看一個助理型機器人基本架構以及它的工作流程。用戶說一段話之后，首先我們要進行語音識別，比如用戶的話是讓機器人播放一首本周比較流行的爵士音樂，用戶說完這段話之后，我們要做一個語音識別，識別成文本，接下來我們就要做自然語言理解，試圖理解用戶所說的具體的語義。

我們用的比較多的模型是框架語義模型，要做相應信息抽取，把用戶想要聽的歌手，想要聽哪個類型的歌曲，以及具體時間抽出來，把它填充到具體預定義播放的語義里面。

比如，風格是爵士樂，日期是本周，歌手是缺失的，因為這里面的信息沒有抽取出來。這種情況下，機器人可能會主動發(fā)問你想聽誰的爵士樂，對應的槽值達到一定數(shù)量以后，我們可能不會主動發(fā)問，因為它已經(jīng)檢索到用戶想要聽的歌曲。接下來有一個會話管理，這部分主要是會話狀態(tài)跟蹤，主要任務是根據(jù)當前會話狀態(tài)以及用戶輸入決定怎么去響應用戶。

基于剛才的例子，播放本周最流行的爵士樂，這時候我會問你想聽誰的爵士樂，另外一種類型是直接給用戶播放本周最流行的音樂，用戶點擊之后就可以播放。這一步之后要經(jīng)過自然語言生成，根據(jù)當前用戶輸入和當前會話狀態(tài)，決定是反饋用戶一首音樂的播放鏈接，還是再詢問用戶希望聽哪個歌手的爵士樂。這部分要根據(jù)響應做一個自然語言的生成，返回用戶，這樣就是一個多輪交互或者單輪交互的過程。

接下來重點介紹一下自然語言理解。再細分有三個模塊，一個是領域分類，比如說我想知道用戶到底是想聽音樂、問天氣，還是電商購物，如果是電商購物，就會涉及到智能導購。第二步是要去理解用戶意圖，你是想買手機還是想買其他的商品。最后是一個 Slot Filling（槽填充） 模型，我們希望根據(jù)用戶會話中的信息，抽取出我們要完成這項任務所需要的一些槽位里面的槽值。抽取完畢以后，我們就會做相應的響應。比如說我們直接調(diào)動電商的搜索引擎，把用戶想要的商品反饋給用戶，或者根據(jù)用戶想聽的歌曲搜索一首歌，返回給用戶。

我們經(jīng)常用到的是框架語義模型。有兩個例子，一個是購物領域的例子，一個是聽音樂的例子，都是具體要完成某一個任務的助理型機器人。比如，用戶需求是我想買一個紅色蘋果手機，適用人群是男士，這個時候我們的框架語義模型就會把顏色、品牌以及適用人群這三個槽值抽取出來填充到對應的槽位，一個是顏色、一個是品牌、一個是適用人群。

有了這三個屬性以后，我們可以根據(jù)會話管理的狀態(tài)控制，再詢問用戶是不是還需要其他的屬性。比如說你需要網(wǎng)絡支持嗎？也有可能我們的屬性已經(jīng)到達了一定的閾值，這個時候可以幫用戶搜索滿足用戶需求的手機。

聽音樂的例子也是一樣，比如說我這個月想聽詹姆斯的爵士樂，最后音樂的風格就是爵士樂，歌手就是詹姆斯，時間就是本月。這個時候我們就可以把用戶這段語言中所需要槽位的值抽取出來，采用一些信息抽取方法，填充了缺失的槽位之后就可以幫助用戶完成指定的功能或者任務。

這里面涉及到三個具體的子模塊，一個是用戶分類。比如說用戶說了這么一段話，我想買一部紅色手機，適用人群是女士，這個時候我們就把它分到用戶購物領域，識別到用戶的具體意圖是購物，而不是聽音樂或者問天氣。

識別出用戶需求領域，我們就要看用戶意圖，具體是要買手機還是買衣服，還是買瓶裝水這些快消品。我們會根據(jù)用戶表達的 Mobile phone，就知道用戶要買 3C 數(shù)碼產(chǎn)品。接下來我們要做 Slot Filling，比如紅色是手機其中的一個屬性，女性是手機中的一個適應人群。然后是參數(shù)，把對應的槽值填充到缺少的這些槽位上去。

我們都知道商品在商品庫里，比如說手機 1 它的顏色是紅色，適用人群是女士，手機 2 它的顏色是藍色，適用人群是男士。我們從這段話中把用戶表達出來的意思填充到槽位中，搜索出結果，顏色是紅色，適用人群是女士，我們就可以把所有符合的手機檢索出來，反饋給用戶一個手機列表，也有可能把第一個手機反饋給用戶。這個時候向用戶詢問，你是想要一個還是三個。

接下來重點說一下槽填充模型到底是怎么做的。它的定義是針對某一個具體實體或者某一項具體任務，我們希望能夠填充缺失的一些信息，或者是缺失的一些屬性。比如這是一個未知的人，我們希望通過問答方式獲取用戶的一些個人信息。比如說我可以問你叫什么、住哪兒、電話號碼以及性別等等，或者您感興趣的一些東西。

用戶可能會通過會話系統(tǒng)說出一些答案，當然那些答案也可能跟你的問題毫不相關，用戶可能沒有直接回答，也可能用戶的回答是錯的，我們希望通過線上問答的一些方法，把跟用戶相關的屬性抽取出來，填充到待填充的槽中。

槽填充模型應用場景非常廣泛，一個是剛才我們所說的可以在會話系統(tǒng)中用，通過單輪和多輪交互獲取用戶信息。另外在商品屬性回填中會用到，因為我們都知道自營或聯(lián)營商家，在給平臺上傳商品的時候，可能會有一些商品參數(shù)或者屬性缺失。這個時候我們可能就要從很多競品的電商平臺中，把相應商品抓取到，跟我們待填充的商品做一個配對，配對完之后，就可以把缺失的一些屬性或者是一些參數(shù)回填回來。

比如說亞馬遜上有一個商品屬性缺失，但是發(fā)現(xiàn)天貓、京東或者蘇寧上同一款商品的屬性是全面的，這個時候我們會采用槽填充或者信息抽取的模型把商品信息抓過來，完善商品缺失的一些參數(shù)或者屬性。

還有一個是我們的一些實體畫像的完善。比如說在百度百科詞條里，劉德華的配偶或者老婆信息是缺失的，我們發(fā)現(xiàn)搜狗百科或者其他百科上的詞條是有信息的，我們會首先把對應的詞條抓過來做槽值映射。因為對方百科網(wǎng)站上屬性不一定是用老婆，也可能是用配偶或者其他一些描述，所以這個時候我們要解決統(tǒng)一表達，把對應槽值進行回填。這三類相對來說應用的比較廣泛。

槽填充模型的基本方法是有一個基于模板匹配的方法，還有一個是基于模型或者是分類器的方法。模板匹配的方法基本上是一些專家預定的固定模板，比如說我喜歡聽某一個人的歌，基本上這樣對應模板常用的表達我們就可以把對應歌手抽取出來。另外是基于分類器或者分類模型的方法，可以把它形式化成標注的任務。比如說給我買一張明天從上海到北京的機票，我們可以把具體的每一個詞打個具體的標簽，把缺失的部分填充到對應的槽當中。

比如說用戶的問題是在小鎮(zhèn)中心有沒有一個比較便宜的餐館，這個時候我們可以把它形式化成一個序列標注的任務。可以給每一個詞打上這樣的標簽，你也可以做成二元組的方案，有很多種組合，Price 的槽和 Cheap 是正位，每一個槽可以做很多交叉組合，形成標注樣本，最后做分類模型。比較廣泛采用的是通過用戶的一段表達，可以把用戶這段表達中我們所需要的一些信息抽取出來，填充到對應的槽中。

智能機器人平臺

這是我們基于 Slot Filling 做的智能家居。支持的家電設備有 15 種，我們可以支持大部分家電指令控制，因為很多情況下智能家居的場景我們是希望能夠通過語音方式去控制家電設備。比如說把燈打開，幫我打開一下燈，能把燈開開嗎？這樣一些基于口語化的統(tǒng)一表達其實都是一樣的意思，我們希望智能平臺能夠識別出用戶的表達，把相應指令發(fā)送到智能家電上去。

這是我們蘇寧智能機器人平臺人工智能實驗室做的家電控制的例子。我們可以控制空調(diào)，可以跟它說把空調(diào)調(diào)成 20 度。我們可以解析成待控制的設備就是空調(diào)，具體控制指令和參數(shù)就是去控制溫度，調(diào)成 20 度。

除了智能家居的應用之外我們還做了智能客服。首先看一下智能客服的定義，用機器人輔助的方式去給用戶提供一些客服服務，它的應用場景有四大類，第一類是機器人優(yōu)先，如果客戶有問題，首先是機器人去應答，如果機器人解決不了，我們再及時轉人工客服。

另外一種情況就是輔助應答，這個時候機器人是不會跟用戶去交互的，如果說用戶有問題，接待他的都是人工客服，但人工客服會基于機器人的一些答案，直接采用或者不采用。比如說用戶想問這個是不是能配貨？人工客服可能直接說的話會有很多字，比較麻煩，機器人會給人工客服一個回答的建議，人工客服可以在上面修改，也可以直接采用機器人的答案回復給用戶。

另外就是在排隊和離線的場景中，因為人工客服可能會回復不過來，這個時候我們可能采用機器人優(yōu)先接待，不要讓用戶等待太長時間。這個方案我們也有一個解決辦法。

還有個例子是我們給員工平臺內(nèi)部做的基于財務和 IT 人士的客服。當然主要是用戶的一些標準問題，還有一些擴展題，以及具體的答案?；谶@樣一些訓練樣本，涉及到報銷或者財務相應的標簽，我們采用的模型是二分類模型。

基本的架構是這邊具體的問題，在整個訓練集中提煉出相似問和不相似問，經(jīng)過預處理和特征選擇的模型，最后可以選出這樣一個模型。當然這個模型還是比較簡單的，用的是傳統(tǒng)分類模型，基于深度學習的方法目前還在開發(fā)中，效果還是不錯的。

這是我們智能財務客服的一個例子，是在蘇寧內(nèi)部用的。蘇寧內(nèi)部有一個 IM 豆芽，在上面可以問它一些基本問題。比如差旅費報銷有哪些內(nèi)容，差旅費有哪些，這樣的同義表達都可以把差旅費相關的內(nèi)容反饋給用戶。

目前我們支持財務客服、IT 客服和人事客服。這是蘇寧的聊天機器人，有基本的閑聊，有一些笑話功能，還有多輪交互的天氣功能，單個以及多輪交互的導購功能。

蘇寧智能機器人平臺采用一個比較流行的框架，人工+智能相結合的混合智能模式。很多時候包括訓練數(shù)據(jù)的一些準備，以及線上回答錯誤的情況，我們都需要很多在線和離線數(shù)據(jù)標注的糾正。HI 這部分，人工的參與是必不可少的，其他的部分就是 AI，如果有用戶話術，我們首先會做一個意圖的理解，還有話術擴充。基本上這部分就是我們的知識庫和知識圖譜，建立索引以后，這部分是對用戶的響應，這部分是用戶可能在線或者離線。有可能是專業(yè)財務、IT 或者人事客服，也可能是普通標注員，他們會不斷幫助我們修正這些知識。這就是我們混合智能的方案。

目前我們已經(jīng)支持了智能家居機器人、理財機器人，還有一部分是線上彈幕和直播機器人，文創(chuàng)的 PPTV 是蘇寧的在線視頻網(wǎng)站，用戶觀看視頻的時候可以進入到直播聊天室，上面有一些彈幕并不是人生成的，而是機器人在合適的時間根據(jù)合適的內(nèi)容生成一些高質(zhì)量的彈幕，這個時候就會產(chǎn)生一些灌水效應。喜歡看彈幕的一些用戶會發(fā)現(xiàn)今天聊天室或者視頻里彈幕比較多，有可能增加他觀看時長。

演講結束后，李偉接受了包括雷鋒網(wǎng)在內(nèi)的媒體采訪，以下為采訪內(nèi)容實錄：

提問：在電商行業(yè)，除了大家比較熟悉的智能推薦之外，人工智能還有哪方面的應用，蘇寧目前在這塊有沒有什么工作計劃或者布局？

李偉：除了推薦之外，其實我們還有搜索、個性化以及用戶畫像和商品畫像建模，有很多 AI 方面的技術目前都已經(jīng)用到了蘇寧線上易購以及線下門店，線下的門店目前我們正在部署和調(diào)研，還沒有大規(guī)模的推廣。因為蘇寧是零售起家的，有很多線下門店，但是有很多門店正在升級改造，很多門店都是傳統(tǒng)的設計，并不是特別方便跟 AI 結合，這是蘇寧易購。

蘇寧除了易購以外，還有文創(chuàng)的 PPTV，還有金融、投資、體育、理財、置業(yè)等等六大產(chǎn)業(yè)，其實很多地方都可以有很多人工智能應用。比如說我們的人工智能實驗室目前在搭建智能機器人平臺，也是閑聊陪伴和專業(yè)助理功能的，專業(yè)助理是幫助用戶完成一項具體任務或者一個具體需求，比如智能客服、智能導購等等，目前這些都在跟蘇寧的很多業(yè)務線結合。

提問：前段時間我們看到蘇寧無人店已經(jīng)開業(yè)了，那以蘇寧為代表的傳統(tǒng)電商，跟阿里這種互聯(lián)網(wǎng)電商相比，在擁抱人工智能方面有哪些不同？

李偉：蘇寧也在轉型，而且也轉型很長時間了，向互聯(lián)網(wǎng)轉型，之前只做線下的零售、實體店，現(xiàn)在有了線上的易購，慢慢也在擴展到其他的產(chǎn)業(yè)。跟 BAT 以技術驅(qū)動為主的公司相比，蘇寧在技術沉淀方面相對落后，但是董事長越來越重視研發(fā)投入，尤其是技術沉淀和積累方面。

我們希望能夠跟 BAT 以及其他創(chuàng)業(yè)公司合作，我們甚至會投資或者入股，以這樣的方式去做一些技術投資，或者自己成立研究院以及蘇寧實驗室這樣的機構和部門，不斷的讓技術驅(qū)動的部門跟業(yè)務線緊密結合，下沉到業(yè)務，去了解業(yè)務的痛點。另一方面也爭取自己不斷的去積累技術，把這些技術跟業(yè)務很好的結合，進一步去推動智慧零售。

提問：蘇寧在無人店的布局是怎樣的？

李偉：蘇寧的確是想做無人店，但是也在找一些合適的方式，因為可能有些商品適合放在無人店里面，有一些區(qū)域也適合部署一些無人店，但有一些商品還是適合有人工在里面。不管是結賬的時候，還是有一些問題咨詢的時候。蘇寧在這方面會有布局，也在認真的做一些調(diào)研。

蘇寧現(xiàn)在處在前期布局和調(diào)研階段，所以不會大規(guī)模的布局，會開一些概念店，去看哪種方式更符合用戶，也能最大化用戶和商戶的利益。

提問：現(xiàn)在無人零售店一般有兩種技術解決方案，一種是基于 RFID 的，一種是基于計算機視覺的，您更傾向于哪種技術？

李偉：其實這兩種技術我還是比較傾向于它們相互結合，因為完全依賴于計算機視覺，或者完全依賴于電子標簽的方案，可能都不一定能夠達到很好的用戶體驗。像 Amazon Go 更多的是依賴于 CV，深藍科技也比較依賴于 CV，實際上計算機視覺如果你不加限制，它很難去解決所有的問題。包括用戶身份的認證，用戶對于商品拿放動作的識別，還有體態(tài)識別，還有用戶進店之后所有行為的跟蹤等等，這些都是很大的技術難點。

短期之內(nèi)如果技術沒有一個特別大的突破，可能很難完全依賴于 CV，應用到無人店里面去。

電子標簽技術上非常成熟，如果非要用 RFID 和 CV 去做無人店，最好是兩者結合這樣比較好。因為有的時候可能可以用計算機視覺做一些很好的識別，如果計算機視覺做的不好的我們可以用 RFID，兩者的結合是很好的方案。

提問：無人零售有的說是風口，有的說是資本過剩。關于亞馬遜的無人零售，阿里說亞馬遜的無人零售就是一個 PR，您怎么看？

李偉： Amazon Go 我沒有親身體驗，他們目前好像只是面向內(nèi)部員工，掃碼之后可以進去拿貨，出來之后可以直接結賬，沒有人工收款這樣一個流程。其實蘇寧目前也在做一些無人店方面的事情，包括在徐莊總部已經(jīng)開了一家無人店。蘇寧因為是做零售實體店起家的，還是非常注重無人店的想法，包括繽果盒子等等，也在向無人店技術驅(qū)動的公司做一些調(diào)研，我們也有參與過，有一些完全基于計算機視覺的公司，去了以后你發(fā)現(xiàn)有很多場景確實是沒有辦法把用戶的體驗做的很好，而且也存在安全和衛(wèi)生的問題。

比如說他可以接觸到食物，在某種特定場景下拿的動作不要太快，慢一點，配合 CV 的技術是可以識別出來的。很多人是多次拿放，另外一個人想要購買的話他會不會去買，因為畢竟有安全和衛(wèi)生的問題。

提問：目前阿里和京東他們都在跟一些社區(qū)的小超市，甚至農(nóng)村的超市合作，京東說要做百萬便利店，蘇寧在這一塊有沒有布局？

李偉：其實現(xiàn)在蘇寧除了賣傳統(tǒng)的電器和家電的易購店以外，也在布局蘇寧小店，類似于 7-11，除了蘇寧小店以外還有蘇寧超市，大部分都是在江蘇和上海一帶，在北京還沒有加盟店，至少還沒有落地。這些已經(jīng)跟蘇寧傳統(tǒng)的實體店在概念上和服務模式上有很大差別，不光是賣電器，但是蘇寧傳統(tǒng)的易購的實體店也在升級，升級成蘇寧云店。

蘇寧線下店面的布局目前相對來說比較多樣化了，而且已經(jīng)不再走傳統(tǒng)家電模式，雖然給人的印象是賣傳統(tǒng)家電起家的，但是已經(jīng)在逐漸向多元化發(fā)展，也是為了更好的滿足用戶體驗。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉載。詳情見轉載須知。