搭載了 Visual Cookie 的京東之家北京店

不知是性格使然，還是因?yàn)閷?duì)技術(shù)足夠自信，Jeff 表現(xiàn)出的坦誠(chéng)令人印象深刻。他說(shuō)話簡(jiǎn)單直接，沒(méi)有太多修飾，也不彎彎繞繞，完全不像一個(gè)老練的連續(xù)創(chuàng)業(yè)者。

Jeff Lin 是美籍華人，在電信、導(dǎo)航、數(shù)字內(nèi)容、位置服務(wù)和移動(dòng)互聯(lián)網(wǎng)行業(yè)有著 20 多年的從業(yè)經(jīng)驗(yàn)。創(chuàng)立 Insight 之前，他主導(dǎo)開(kāi)發(fā)了在中國(guó)擁有超過(guò) 3000 萬(wàn)注冊(cè)用戶的圖片視頻拍攝分享 App“圖釘”。

“無(wú)感”式的用戶體驗(yàn)

Insight 成立于 2016 年，但涉足零售市場(chǎng)卻不過(guò)才幾個(gè)月。2017 年 8 月，Insight 了解到，京東之家希望能夠基于視頻，分析顧客在線下實(shí)體店的潛在購(gòu)買行為。于是，短短兩個(gè)月后，搭載 Insight 開(kāi)發(fā)的智能 AI 零售系統(tǒng) Visual Cookie 的京東之家就在北京開(kāi)業(yè)了。

在搭載了 Visual Cookie 的京東之家，顧客進(jìn)店時(shí)，攝像頭會(huì)自動(dòng)抓其人臉信息，與后臺(tái)數(shù)據(jù)庫(kù)進(jìn)行匹配，判斷他是新客戶還是老客戶。顧客選購(gòu)商品時(shí)，攝像頭會(huì)全程追蹤，記錄他在各個(gè)區(qū)域停留的時(shí)長(zhǎng)、看了哪些商品等信息。

如果顧客在某個(gè)區(qū)域停留達(dá)到一定時(shí)長(zhǎng)，店員就會(huì)收到 Insight 開(kāi)發(fā)的微信小程序推送的信息。信息中包含顧客的人臉圖像，以及他來(lái)過(guò)多少次、上一次來(lái)是什么時(shí)候、對(duì)哪些商品感興趣等描述。根據(jù)這些信息，店員就可以為顧客提供個(gè)性化和專業(yè)化的服務(wù)。

收銀臺(tái)也安裝了攝像頭

進(jìn)店的顧客，即使什么都沒(méi)買，系統(tǒng)也會(huì)保留其結(jié)構(gòu)化的人臉信息和帶時(shí)間戳的行為軌跡，以便他下次進(jìn)店時(shí)進(jìn)行比對(duì)。但只有顧客購(gòu)買商品并出示會(huì)員卡付款時(shí)，收銀臺(tái)的攝像頭才會(huì)將其人臉信息與會(huì)員卡信息進(jìn)行關(guān)聯(lián)和匹配（收銀員通常會(huì)推薦顧客辦理會(huì)員卡，顧客可以選擇接受或拒絕）。

從進(jìn)店到完成付款，顧客幾乎感覺(jué)不到 Visual Cookie 的存在，只需要像在普通線下店一樣自由購(gòu)物就行了。

性能和成本完美

人臉識(shí)別是 Visual Cookie 系統(tǒng)中至關(guān)重要的一環(huán)，決定了顧客的身份識(shí)別和行為軌跡信息歸檔。

在無(wú)人便利店或刷臉支付等場(chǎng)景，為了保證人臉識(shí)別的準(zhǔn)確率，通常會(huì)要求顧客正對(duì)攝像頭站立幾秒鐘。但京東之家追求“無(wú)感”式的用戶體驗(yàn)，這就要求 Visual Cookie 必須在顧客移動(dòng)的過(guò)程中完成人臉識(shí)別，難度非常之大。

首先是硬件上的挑戰(zhàn)。Visual Cookie 做的是實(shí)時(shí)視頻分析，需要對(duì)視頻進(jìn)行拆幀處理。經(jīng)過(guò)多次嘗試后，Jeff 發(fā)現(xiàn)市場(chǎng)上現(xiàn)有的攝像頭用于實(shí)時(shí)視頻分析時(shí)，或多或少存在一些缺陷，?？低暫痛笕A這樣的大品牌也不例外。以常見(jiàn)的球機(jī)為例，球機(jī)拍攝的視頻拆幀之后往往比較模糊，難以滿足人臉識(shí)別的需求；槍機(jī)拍攝的視頻拆幀后雖然比較清晰，但成本很高而且體積太大。

“你可以想象一下，被十幾個(gè)這樣的槍機(jī)瞄準(zhǔn)，顧客的心理是無(wú)法承受的”，Jeff 笑著對(duì)雷鋒網(wǎng)說(shuō)道。

為了打造一套用戶體驗(yàn)良好且性能優(yōu)異的系統(tǒng)，Jeff 找到了深圳的攝像頭零件供應(yīng)商，讓他們根據(jù)自己的需求定制了一款攝像頭。這款攝像頭的外觀經(jīng)過(guò)了特殊包裝，十分小巧簡(jiǎn)約，以免給顧客造成心理壓力。

特殊定制的攝像頭

Visual Cookie 的人臉抓取、處理、分析和匹配都是在本地完成的。因?yàn)榛谠贫说娜四樧R(shí)別方案時(shí)效性差，而且對(duì)帶寬的壓力非常大。

雷鋒網(wǎng)了解到，Insight 會(huì)根據(jù)店鋪的大小部署不同配置、數(shù)量的服務(wù)器和攝像頭。一般而言，像繽果盒子這種15㎡規(guī)模的店鋪只需要一臺(tái)搭載一個(gè)GPU的服務(wù)器和4-6個(gè)攝像頭；100-200㎡規(guī)模的京東之家通常需要一臺(tái)搭載2個(gè)GPU的服務(wù)器和15-20個(gè)攝像頭；600㎡規(guī)模的京東之家黑金店則需要3臺(tái)搭載2個(gè)GPU的服務(wù)器和60個(gè)左右的攝像頭。

Jeff 介紹，和別的方案不同，Visual Cookie 的攝像頭是安裝在貨架上的，而非天花板上。其中有些攝像頭的功能是識(shí)別人臉，有些則是識(shí)別商品。

顧客進(jìn)店時(shí)，系統(tǒng)會(huì)自動(dòng)抓取三張人臉圖像，合成一個(gè)三維的人臉模型。有了這個(gè)模型，后續(xù)即使顧客只露出側(cè)臉或者臉部的三分之一，系統(tǒng)也能準(zhǔn)確識(shí)別。Visual Cookie 還支持在一張照片中識(shí)別多張人臉，最小能夠識(shí)別 60 x 60 pixel 的人臉圖像。

即便如此，Visual Cookie 的人臉識(shí)別準(zhǔn)確率還是無(wú)法做到 100%。一方面，人流量很大的情況下，顧客會(huì)相互遮擋，導(dǎo)致攝像頭無(wú)法捕捉；另一方面，燈光、角度和背景會(huì)對(duì)人臉識(shí)別的準(zhǔn)確率造成很大影響。在支付場(chǎng)景中，顧客面對(duì)攝像頭保持靜止，光線、角度和背景都非常理想，準(zhǔn)確率尚且無(wú)法達(dá)到 100%，更何況用戶還在不斷移動(dòng)。

Jeff 坦言，目前 Visual Cookie 捕捉人臉的成功率在 80% 左右，對(duì)于已經(jīng)捕捉到的人臉，識(shí)別準(zhǔn)確率則超過(guò)了 90%。對(duì)于一個(gè)不涉及支付等關(guān)乎顧客財(cái)產(chǎn)安全環(huán)節(jié)的客流分析系統(tǒng)來(lái)說(shuō)，這樣的識(shí)別率已經(jīng)非?？捎^了。

當(dāng)然，這兩項(xiàng)參數(shù)還可以進(jìn)一步提升，但任何商業(yè)產(chǎn)品都必須平衡性能和成本。如果像 Amazon Go 一樣不惜重金，布置如此密集的攝像頭和傳感器， Visual Cookie 的性能也能夠大幅提升。

Jeff 透露，目前針對(duì) 200 ㎡ 規(guī)模店鋪的 Visual Cookie 方案，成本在 30000 元以下；針對(duì) 15 ㎡ 規(guī)模店鋪的方案，成本更是不到 5000 元。

除了精準(zhǔn)的本地識(shí)別，設(shè)備還會(huì)每天將最新的結(jié)構(gòu)化數(shù)據(jù)上傳至云端，同步到各個(gè)店鋪，實(shí)現(xiàn)跨店識(shí)別。

Visual Cookie 系統(tǒng)架構(gòu)圖

用搭積木的方式做 AI

Jeff 認(rèn)為，對(duì)于 AI 來(lái)說(shuō)，框架的搭建方式至關(guān)重要。Visual Cookie 的框架并非“鐵板一塊”，而是由不同的模組構(gòu)成，就像積木一樣。

Insight 一共訓(xùn)練了十幾個(gè)獨(dú)立的、不同功能的模型，有些用于人臉識(shí)別，有些則負(fù)責(zé)識(shí)別商品。這些模型既可以單獨(dú)使用，也可以隨機(jī)組合。

Jeff 介紹，Insight 選擇這種方式，是為了進(jìn)一步提升產(chǎn)品的速度和體驗(yàn)。不同模型的準(zhǔn)確率不盡相同，它們混在一起時(shí)會(huì)互相干擾。比如一個(gè)準(zhǔn)確率高的模型和一個(gè)準(zhǔn)確率低的模型放在一起，結(jié)果可能兩個(gè)模型的準(zhǔn)確率都會(huì)降低。這是他們?cè)陂L(zhǎng)期實(shí)戰(zhàn)中總結(jié)出的規(guī)律。

“積木”式的框架賦予了產(chǎn)品更多靈活性。Insight 可以根據(jù)不同客戶的需求，將這些模型進(jìn)行組合。比如京東之家搭載的 Visual Cookie 只用到了 5 個(gè)模型，而無(wú)人便利店場(chǎng)景則需要 7 個(gè)模型，因?yàn)檫€需要識(shí)別顧客撕毀標(biāo)簽、偷竊等動(dòng)作。

“有些 AI 系統(tǒng)運(yùn)行起來(lái)很慢，其實(shí)是因?yàn)轸酆狭颂嗖槐匾哪Ｐ?，為了提升速度，客戶只好采?gòu)更加昂貴的硬件”，Jeff 對(duì)雷鋒網(wǎng)說(shuō)道。

聯(lián)手歐電云，加速市場(chǎng)推廣

Visual Cookie 得名于互聯(lián)網(wǎng)中的 Cookie 概念。Cookie 是指網(wǎng)站為了辨別用戶身份、進(jìn)行 session 跟蹤而儲(chǔ)存在用戶本地終端上的數(shù)據(jù)(通常經(jīng)過(guò)加密)。比如用戶瀏覽電商網(wǎng)站時(shí)，Cookie 會(huì)記錄他瀏覽了哪些商品，把哪些商品添加到了購(gòu)物車等。

對(duì)于從電商領(lǐng)域滲透至線下的零售商們來(lái)說(shuō)，Visual Cookie 的產(chǎn)品理念簡(jiǎn)單易懂，他們也欣然接受。去年 10 月，Insight 和京東之家合作的第一家門店在北京開(kāi)業(yè)，兩個(gè)月后，第二家門店于上海開(kāi)業(yè)。雙方合作的京東之家黑金店目前正在緊鑼密鼓的部署中。此外，搭載 Visual Cookie 的全新繽果盒子體驗(yàn)店也將于年后對(duì)外開(kāi)放。

但傳統(tǒng)零售商往往缺乏互聯(lián)網(wǎng)意識(shí)，Insight 想用 Visual Cookie 打動(dòng)他們并非一件容易的事情。

強(qiáng)攻未果，只好迂回前進(jìn)。為了加速產(chǎn)品推廣，日前 Insight 和歐電云達(dá)成了戰(zhàn)略合作。歐電云是國(guó)內(nèi)頂尖的跨平臺(tái)電子商務(wù)系統(tǒng)云服務(wù)及解決方案提供商，負(fù)責(zé)了中國(guó)最主要的 20多 個(gè)品牌、10000 多家門店的 CRM 系統(tǒng)建設(shè)。

未來(lái)，歐電云的 CRM 系統(tǒng)將集成 Visual Cookie，形成一個(gè)打包方案推向零售商家。借助歐電云的渠道優(yōu)勢(shì)，Visual Cookie 將迅速打開(kāi)市場(chǎng)。

做 AI，選對(duì)場(chǎng)景很重要

自 2016 年 AlphaGo 擊敗世界圍棋冠軍李世乭以來(lái)，AI 迅速發(fā)展成燎原之勢(shì)。但在 Jeff 看來(lái)，雖然人工智能在各個(gè)領(lǐng)域都發(fā)展得十分火熱，但短期內(nèi)適合落地的場(chǎng)景只有安防和自動(dòng)駕駛。安防與國(guó)家秩序密切相關(guān)，擁有政策紅利，市場(chǎng)前景非常廣闊。自動(dòng)駕駛領(lǐng)域，中美兩國(guó)都投入了大量資金，雖然前景未明，但資金仍在不斷涌入。

醫(yī)療市場(chǎng)也曾一度被看好，但 Jeff 認(rèn)為，中國(guó)的醫(yī)療體系比較封閉，信息孤島現(xiàn)象很嚴(yán)重，產(chǎn)品推進(jìn)會(huì)非常困難。

涉足零售領(lǐng)域之前，Insight 最早選擇的 AI 落地場(chǎng)景是社交輿情監(jiān)測(cè)。他們推出了一款名為 SocialListener 的產(chǎn)品，通過(guò)分析社交網(wǎng)絡(luò)中的用戶原創(chuàng)及用戶之間互動(dòng)的文字、圖片、視頻等內(nèi)容，幫助品牌提高用戶轉(zhuǎn)化率。

提供類似服務(wù)的企業(yè)很多，Insight 的特別之處在于它采用的是神經(jīng)網(wǎng)絡(luò)的方法，除了文字，還能對(duì)圖片和視頻進(jìn)行分析。遺憾的是，品牌商對(duì)于圖片和視頻信息的價(jià)值缺乏重視，導(dǎo)致 Insight 無(wú)法收取相應(yīng)的費(fèi)用。

于是，2017 年 6 月，Insight 瞄準(zhǔn)了第二個(gè)場(chǎng)景——內(nèi)容監(jiān)控，幫助電視臺(tái)等客戶分析視頻中的政治敏感人物或目標(biāo)人物。Jeff 認(rèn)為，在中國(guó)的社會(huì)大環(huán)境下這是一項(xiàng)剛需，也是未來(lái) Insight AI 落地的主要場(chǎng)景之一。

瞄準(zhǔn)零售場(chǎng)景的 Visual Cookie 是 Insight 非常成功的一款產(chǎn)品。但 Jeff 卻表現(xiàn)得非常冷靜，他指出，零售場(chǎng)景短期內(nèi)很難成為一個(gè)大市場(chǎng)，Insight 看中的是未來(lái)。

Jeff 預(yù)測(cè)，2018 年將會(huì)涌現(xiàn)出很多類似 Visual Cookie 的方案。他認(rèn)為，AI 與互聯(lián)網(wǎng)領(lǐng)域不同，不是大公司憑借流量紅利就能壟斷的。每一個(gè)企業(yè)都必須經(jīng)歷搭建框架、設(shè)計(jì)算法、訓(xùn)練模型的過(guò)程，相對(duì)來(lái)說(shuō)更加平等。因此當(dāng)提前布局的 Insight 有了一定的積累之后，其他廠商很難再超越。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。