京東集團(tuán)技術(shù)副總裁、AI研究院副院長，IEEE Fellow 梅濤

2020 年 8 月 7 日，第五屆全球人工智能與機(jī)器人峰會(huì)（CCF-GAIR 2020）在深圳正式開幕。

CCF-GAIR 2020 峰會(huì)由中國計(jì)算機(jī)學(xué)會(huì)（CCF）主辦，雷鋒網(wǎng)、香港中文大學(xué)（深圳）聯(lián)合承辦，鵬城實(shí)驗(yàn)室、深圳市人工智能與機(jī)器人研究院協(xié)辦。

作為中國最具影響力和前瞻性的前沿科技活動(dòng)之一，CCF-GAIR 大會(huì)已經(jīng)度過了四次精彩而又輝煌的歷程。

在大會(huì)第二天的「視覺智能?城市物聯(lián)」專場(chǎng)上，京東集團(tuán)技術(shù)副總裁、AI研究院副院長，IEEE Fellow梅濤，分享了京東在供應(yīng)鏈上的布局與思考。

梅濤認(rèn)為供應(yīng)鏈發(fā)展經(jīng)歷了三個(gè)階段：

第一階段，上世紀(jì)90年代，傳統(tǒng)供應(yīng)鏈的信息技術(shù)將產(chǎn)業(yè)的上下游進(jìn)行協(xié)同；第二階段，21世紀(jì)初期，互聯(lián)網(wǎng)工業(yè)階段，利用互聯(lián)網(wǎng)技術(shù)提高供應(yīng)鏈的效率和敏捷性；第三階段，21世紀(jì)及未來，智能供應(yīng)鏈階段，生產(chǎn)上更加協(xié)同，流通上更加敏捷，甚至可以通過用戶需求驅(qū)動(dòng)生產(chǎn)，又反過來創(chuàng)造需求。

梅濤指出，中國供應(yīng)鏈水平仍處于第一階段向第二階段過渡時(shí)期。作為“以供應(yīng)鏈為基礎(chǔ)的技術(shù)與服務(wù)企業(yè)”，京東在不斷夯實(shí)第一階段到第二階段轉(zhuǎn)型的同時(shí)，積極布局第三階段，基于人工智能，利用大數(shù)據(jù)、物聯(lián)網(wǎng)、區(qū)塊鏈等，打造基于各種技術(shù)與服務(wù)的供應(yīng)鏈全鏈條。

京東在智能供應(yīng)鏈領(lǐng)域的計(jì)算機(jī)視覺應(yīng)用非常多。智能消費(fèi)領(lǐng)域，通過SKU級(jí)別商品圖片理解，打造智能結(jié)算臺(tái)、京東拍照購、京東搭配購等應(yīng)用。在實(shí)際場(chǎng)景中，通過硬件和軟件一體化，幫助線下門店進(jìn)行一體化營銷。

智能流通領(lǐng)域，基于深度視覺建模技術(shù)，對(duì)倉內(nèi)環(huán)境進(jìn)行重建從而輔助機(jī)器人巡檢；基于物體姿態(tài)的精準(zhǔn)識(shí)別技術(shù)，支持機(jī)械臂對(duì)物體的自動(dòng)抓取，此外，京東還推出了首個(gè)產(chǎn)業(yè)級(jí)通用目標(biāo)重識(shí)別開源庫FastReID。

智能生產(chǎn)領(lǐng)域，應(yīng)用于工業(yè)視覺質(zhì)檢，比如，印刷品包裝檢測(cè)中，通過內(nèi)容識(shí)別、設(shè)計(jì)校對(duì)、字號(hào)識(shí)別，以檢測(cè)包裝是否符合嚴(yán)格的標(biāo)準(zhǔn)，另外還有基于CMYK色彩控健康識(shí)別，缺陷監(jiān)測(cè)和尺寸識(shí)別。

梅濤提到，智能供應(yīng)鏈需要全鏈條的生態(tài)，京東擁有全行業(yè)最長的數(shù)據(jù)鏈條以及最全的供應(yīng)鏈服務(wù)。京東不僅要服務(wù)于自己內(nèi)部的客戶，還基于人工智能開放平臺(tái)，開放技術(shù)，共建生態(tài)。

最后，梅濤分享了他對(duì)下一代視覺技術(shù)趨勢(shì)的看法，他認(rèn)為計(jì)算機(jī)視覺經(jīng)歷過萌芽、爆炸、巔峰，現(xiàn)在回歸理性，未來將在數(shù)據(jù)、模型、學(xué)習(xí)機(jī)制和工具箱四個(gè)層面有長足進(jìn)步。

以下是梅濤博士的現(xiàn)場(chǎng)演講全文，雷鋒網(wǎng)作了不改變?cè)獾恼砼c編輯：

謝謝雷鋒網(wǎng)的邀請(qǐng)！上一次過來這邊演講還是三年前。

今天我想向大家分享一個(gè)話題：作為“以供應(yīng)鏈為基礎(chǔ)的技術(shù)與服務(wù)企業(yè)”，我們是如何讓機(jī)器視覺在其中發(fā)揮作用的。

在座的部分觀眾也許不一定了解什么叫做供應(yīng)鏈？

其實(shí)，人們?cè)谌粘Ｉ钪袩o時(shí)無刻都會(huì)用到供應(yīng)鏈這項(xiàng)技術(shù)。小到一粒鈕扣、大到一部手機(jī)，如果供應(yīng)鏈某個(gè)環(huán)節(jié)出現(xiàn)了問題，那么這款產(chǎn)品可能就會(huì)存有缺陷。

復(fù)盤一下，供應(yīng)鏈的發(fā)展大概經(jīng)歷了三個(gè)階段：

第一個(gè)階段出現(xiàn)在上世紀(jì)90年代，我們可以稱之為傳統(tǒng)供應(yīng)鏈階段。

這個(gè)階段主要使用信息技術(shù)將產(chǎn)業(yè)的上下游進(jìn)行協(xié)同，代表的公司包括沃爾瑪、P&G等，當(dāng)時(shí)的沃爾瑪，每年都會(huì)與供應(yīng)商們開各種大會(huì)協(xié)調(diào)當(dāng)中聯(lián)系。

第二個(gè)階段出現(xiàn)在21世紀(jì)初期，我們可以稱之為互聯(lián)網(wǎng)供應(yīng)鏈階段。

人們開始利用互聯(lián)網(wǎng)技術(shù)提高供應(yīng)鏈的效率和敏捷性，代表性的公司包括亞馬遜、ZARA等，譬如亞馬遜提出的“一次點(diǎn)擊”就可下單的概念。

第三個(gè)階段出現(xiàn)在21世紀(jì)及未來，我們可以稱之為智能供應(yīng)鏈的階段。

它主要體現(xiàn)在三大方面：一是生產(chǎn)上更加協(xié)同；二是流通上更加敏捷；三是可以通過用戶需求驅(qū)動(dòng)廠商的生產(chǎn)。

眼下，我國中小微企業(yè)占比超過97%。同時(shí)，我們的包括物流成本等線下費(fèi)用率遠(yuǎn)遠(yuǎn)高于發(fā)達(dá)國家，也就造成我國的線下零售成本相對(duì)較高。

在供應(yīng)鏈環(huán)節(jié)，我們哪怕降低了1%的成本，就可以節(jié)省萬億級(jí)別的GDP。

整體來看，目前我國絕大部分企業(yè)的供應(yīng)鏈水平仍處于第一階段與第二階段區(qū)間內(nèi)。

在供應(yīng)鏈技術(shù)服務(wù)領(lǐng)域，京東目前已經(jīng)在服務(wù)第一階段到第二階段的轉(zhuǎn)型，同時(shí)我們也會(huì)做第三階段的布局與探索。

而這，就涉及到了智能供應(yīng)鏈。

智能供應(yīng)鏈以人工智能為支撐，利用大數(shù)據(jù)、物聯(lián)網(wǎng)、區(qū)塊鏈等技術(shù)支撐服務(wù)于供應(yīng)鏈的全鏈條體系。

從微觀層面來說，供應(yīng)鏈大概可以分為十個(gè)環(huán)節(jié)（如上PPT所示）。

從宏觀層面來說，大概包括創(chuàng)意、生產(chǎn)、流通、消費(fèi)四個(gè)環(huán)節(jié)，希望未來的供應(yīng)鏈能夠做到更高的協(xié)同性，更好的敏捷性和更優(yōu)的需求創(chuàng)造性。

 京東為什么要做這件事？

首先，包括疫情等因素的催發(fā)，中國經(jīng)濟(jì)需要開啟內(nèi)循環(huán)，而這方面的工作會(huì)遇到比較多的挑戰(zhàn)。就此，相關(guān)政府部門也提出了“六?！崩砟?，包括保供應(yīng)鏈和產(chǎn)業(yè)鏈。

此外，供應(yīng)鏈也已成為新基建中的重點(diǎn)要素，而這也是京東技術(shù)體系的核心元素。

那么，在智能供應(yīng)鏈領(lǐng)域，計(jì)算機(jī)視覺到底能做些什么？

人們最容易理解的便是3C消費(fèi)市場(chǎng)，因?yàn)槲覀兠刻於夹枰诰W(wǎng)上或者實(shí)體店購物。

在營銷方面，我們通過計(jì)算機(jī)視覺做多模態(tài)購物入口。

舉個(gè)例子，之前大家打開手機(jī)，在京東APP上通過輸入文字找到你想要的商品，現(xiàn)在可以通過拍圖片、視頻甚至是語音的方式找到你想要的商品。

其次是內(nèi)容合規(guī)審核，無論在哪個(gè)平臺(tái)上，只要你上傳商品圖片或者視頻，都需要一定程度的安全審核工作，這個(gè)工作也可以通過計(jì)算機(jī)視覺助力。

在交易方面，我們可以通過圖像信息等技術(shù)，結(jié)合一些美學(xué)信息做適量跨界研究，提升商品的搭配與搜索。

京東最近做了一個(gè)“搭配購物”App，應(yīng)用后發(fā)現(xiàn)在60%的情況下，機(jī)器搭配的效果優(yōu)于人工搭配的效果，轉(zhuǎn)化率方面也超過了人工搭配。

在售后方面，我們通過智能客服，并加入一些人工交互，讓智能客服更有情感和溫度。

在生產(chǎn)方面，我們通過機(jī)器輔助生產(chǎn)制造和設(shè)計(jì)，有效控制生產(chǎn)成本。

京東作為以供應(yīng)鏈為基礎(chǔ)的技術(shù)與服務(wù)企業(yè)，我們擁有全行業(yè)最長的數(shù)據(jù)鏈條以及最全的供應(yīng)鏈服務(wù)。

去年，我們非常榮幸還入選了國家新一代人工智能開放創(chuàng)新平臺(tái)。今年，京東再次榮獲國家科技創(chuàng)新2030“新一代人工智能”重大項(xiàng)目定向支持。 

下面，我來講講京東生態(tài)合作伙伴在供應(yīng)鏈各個(gè)環(huán)節(jié)中，是如何利用計(jì)算機(jī)視覺技術(shù)去提升生產(chǎn)效率的。

在消費(fèi)領(lǐng)域，我們做了一個(gè)智能結(jié)算臺(tái)（PPT圖示左上角）。

我們可以利用視覺技術(shù)對(duì)商品圖片做實(shí)時(shí)分析，并做到SKU級(jí)別的精細(xì)度識(shí)別。

舉個(gè)例子，大家經(jīng)常喝的礦泉水，有250ml的，也有300ml的，250ml和300ml的礦泉水就是兩種不同的SKU，想要做到這種級(jí)別的識(shí)別、分析，機(jī)器需要非常清晰的理解和能力。

我們之前與香港利豐集團(tuán)合作，開發(fā)了一個(gè)臺(tái)燈樣式的設(shè)備，在臺(tái)燈上裝有兩個(gè)攝像頭，可以取代人工對(duì)單個(gè)商品的掃描操作，在幾十毫秒內(nèi)一次性準(zhǔn)確識(shí)別所有商品。

我們通過實(shí)驗(yàn)發(fā)現(xiàn)，香港便利店一個(gè)顧客的平均排隊(duì)時(shí)間是6秒鐘，通過結(jié)算平臺(tái)單人可以節(jié)省1到2秒鐘，這樣有效提高了單位面積銷售額，這是一個(gè)很有意思的嘗試。

另外，我們還做了內(nèi)容審核，所有圖片和視頻都要經(jīng)過我們的安全審核才能在網(wǎng)上進(jìn)行售賣，在京東內(nèi)部每天7*24小時(shí)不間斷調(diào)用審核技術(shù)，以保證優(yōu)良購物環(huán)境。

未來，通過照片你就可以找到你想要的商品，此外還可以通過機(jī)器視覺的搭配購物技術(shù)推薦到你想買的其他商品。

比如你買了某件衣服，我會(huì)告訴你，配什么樣的包、配什么樣的鞋、買什么樣的項(xiàng)鏈，使你的穿著更時(shí)尚。

這些應(yīng)用的背后，我們做了比較多的精細(xì)密度商品圖片的識(shí)別，但這些還遠(yuǎn)遠(yuǎn)不夠。

舉個(gè)例子，真實(shí)場(chǎng)景中，蝶類動(dòng)物有五千種，鳥類超過五萬種，一種鳥就屬于一種類別的SKU，每一只還不太一樣。

就此，我們?cè)诰〇|研發(fā)了DCL，為了找到圖片里面哪一個(gè)部分是我們必須關(guān)注的很小的細(xì)微變化，我們把圖片分成不同的格子全部打散，讓機(jī)器自動(dòng)尋找到底哪一個(gè)格子里是我們需要識(shí)別的細(xì)微差別。

另一個(gè)網(wǎng)絡(luò)是LIO，我們希望這個(gè)網(wǎng)絡(luò)不僅能夠清晰識(shí)別細(xì)小的差別，并且可以自動(dòng)學(xué)習(xí)，去重構(gòu)原始圖片。

 通過這樣的學(xué)習(xí)，機(jī)器既能識(shí)別出細(xì)小的差別，又能做到對(duì)圖像的恢復(fù)。CVPR2019和2020會(huì)議上我們發(fā)表了兩篇代表性的論文，目前影響力還不錯(cuò)。

在內(nèi)容領(lǐng)域，我們做了一些比較有意思的嘗試。我們利用機(jī)器視覺自動(dòng)寫文案，可以看圖說話，也可以看圖寫詩。

京東有很多SKU，有非常多的商品，我們需要能夠快速地寫出個(gè)性化的、多元化的導(dǎo)購文案，目前我們做得還不錯(cuò)，大家在網(wǎng)上看到的很多文案和圖片都是機(jī)器自動(dòng)做的。

在智能流通領(lǐng)域，基于深度視覺建模技術(shù)，對(duì)倉內(nèi)環(huán)境進(jìn)行重建從而輔助機(jī)器人巡檢；基于物體姿態(tài)的精準(zhǔn)識(shí)別技術(shù)，支持機(jī)械臂對(duì)物體的自動(dòng)抓取，此外，京東還推出了首個(gè)產(chǎn)業(yè)級(jí)通用目標(biāo)重識(shí)別開源庫FastReID。

綜上，能看到我們是如何在工業(yè)界將學(xué)術(shù)成果轉(zhuǎn)化為生產(chǎn)力，在產(chǎn)品線上服務(wù)自己的場(chǎng)景，再賦能給外部客戶。 

我們同時(shí)還做了一個(gè)比較有意思的案例，叫做普洱茶的追溯。

眼下，市面上有非常多品類的普洱茶，我們做了一個(gè)“茶臉”識(shí)別，通過茶臉的識(shí)別，保證用戶購買到的是正品的普洱茶。

最后講講智能生產(chǎn)。我們做了一個(gè)輕量級(jí)實(shí)驗(yàn)，做包裝盒的檢測(cè)。

我們將京東的上下游打通，找到了一些生態(tài)伙伴，做內(nèi)容識(shí)別、做設(shè)計(jì)校對(duì)，看字體是否符合標(biāo)準(zhǔn)，字體的位置和顏色是否符合嚴(yán)格的標(biāo)準(zhǔn)，包括進(jìn)行字號(hào)和色差的識(shí)別。

 我們做了基于CMYK色彩控健康識(shí)別，缺陷監(jiān)測(cè)和尺寸識(shí)別。（我也知道有很多公司做的是面板監(jiān)測(cè)識(shí)別，其實(shí)京東也有這樣的能力。）

 我們?cè)诰〇|做研究，不僅要服務(wù)內(nèi)部客戶，同時(shí)我們也希望把這個(gè)技術(shù)開源、開放。

京東人工智能平臺(tái)已經(jīng)入選了全國十個(gè)人工智能平臺(tái)之一，我們不僅要開放，我們還要開源，我們平臺(tái)上的技術(shù)涵蓋計(jì)算機(jī)視覺、自然語言處理、機(jī)器學(xué)習(xí)、對(duì)話、語音與聲學(xué)等等。

我們有六大能力、兩個(gè)方向、一個(gè)平臺(tái)，我們的API已經(jīng)超過了100余項(xiàng)，自研的占60%，還有集團(tuán)第二方的研發(fā)，以及來自第三方生態(tài)伙伴的API，每天服務(wù)客戶的調(diào)用量超過百億次。   

剛才講了比較多的案例內(nèi)容，最后講講我們對(duì)下一代視覺技術(shù)的展望。

2019年，Gartner提出了一個(gè)對(duì)技術(shù)展望的曲線，目前的計(jì)算機(jī)視覺研究處于第三個(gè)階段。

第一個(gè)階段是萌芽期，處于曲線的上升階段，人們對(duì)技術(shù)有比較高的期望；

第二個(gè)階段，萌芽期發(fā)展到了巔峰期，人們對(duì)它的期望到達(dá)了頂峰，這也是最危險(xiǎn)的時(shí)期，很多公司估值過高但沒有實(shí)際產(chǎn)出；

第三個(gè)階段，計(jì)算機(jī)視覺等AI技術(shù)進(jìn)入了理性回歸階段。

再過幾年，我相信計(jì)算機(jī)視覺技術(shù)可以在行業(yè)大規(guī)模擴(kuò)展，不管是青年學(xué)生還是老師，大家可以放心地進(jìn)入這個(gè)行業(yè)。

 關(guān)于技術(shù)趨勢(shì)，我講四點(diǎn)：

1、數(shù)據(jù)。我們相信，Web上的很多無序數(shù)據(jù)，未來會(huì)用到更多的專家、領(lǐng)域知識(shí)、結(jié)構(gòu)化數(shù)據(jù)、多模態(tài)數(shù)據(jù)。

2、模型?，F(xiàn)在每一個(gè)模型都是一個(gè)個(gè)的獨(dú)立煙囪，未來會(huì)做通用底層模型，或者做自動(dòng)化、可定制化的模型結(jié)構(gòu)。

3、學(xué)習(xí)機(jī)制。目前我們看到有很多監(jiān)督學(xué)習(xí)，我們要通過大量的數(shù)據(jù)和標(biāo)注，很多AI公司最后成了勞動(dòng)力公司，包括我們前幾年也是一樣的。

我們現(xiàn)在用了很多弱監(jiān)督、無監(jiān)督甚至是自監(jiān)督和小樣本的學(xué)習(xí)，使我們的模型在很短的時(shí)間內(nèi)學(xué)到很高的效率。

包括我們將來可以做到終身學(xué)習(xí)、聯(lián)邦學(xué)習(xí)，解決數(shù)據(jù)的隱私，包括開放的動(dòng)態(tài)學(xué)習(xí)和機(jī)腦結(jié)合，我們相信未來的學(xué)習(xí)機(jī)制將是多彩多樣的，并且是能解決實(shí)際問題的。

4、工具箱。我們?cè)诠纠镒鲅芯浚粌H僅要服務(wù)于我們自己的生態(tài)伙伴，我們也希望服務(wù)于整個(gè)業(yè)態(tài)，希望能把一些工具箱開源出來，讓大家跟著我們一起成長。

數(shù)據(jù)發(fā)展的趨勢(shì)，從非結(jié)構(gòu)化到結(jié)構(gòu)化，單模態(tài)到多模態(tài)的發(fā)展趨勢(shì)，以及海量人工標(biāo)記到獲得有用知識(shí)，包括孤立問題到通用底層預(yù)訓(xùn)練模型，可以有效解決很多問題。

包括黑盒模型到一個(gè)可解釋的模型，從一個(gè)人工設(shè)定的學(xué)習(xí)框架到機(jī)器自動(dòng)搜索的框架，從有監(jiān)督學(xué)習(xí)到半監(jiān)督學(xué)習(xí)，從機(jī)器協(xié)作到機(jī)腦結(jié)合。

在京東，我們不僅做技術(shù)、產(chǎn)業(yè)，我們也做一些基礎(chǔ)研究，我們目前在全球有四大研究中心，有超過50位頂級(jí)算法科學(xué)家，我們也希望成為各位發(fā)展道路上的同行者和伙伴，謝謝大家！雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。