雷鋒網(wǎng) 按：7 月 12 日-7 月 14 日，2019 第四屆全球人工智能與機器人峰會（CCF-GAIR 2019）于深圳正式召開。峰會由中國計算機學(xué)會（CCF）主辦，雷鋒網(wǎng)、香港中文大學(xué)（深圳）承辦，深圳市人工智能與機器人研究院協(xié)辦，得到了深圳市政府的大力指導(dǎo)，是國內(nèi)人工智能和機器人學(xué)術(shù)界、工業(yè)界及投資界三大領(lǐng)域的頂級交流博覽盛會，旨在打造國內(nèi)人工智能領(lǐng)域極具實力的跨界交流合作平臺。

7月13日，云天勵飛副總裁李愛軍為CCF-GAIR 2019 的「AI 芯片專場」作了題為《芯聯(lián)萬物，智創(chuàng)未來》的精彩演講。

IoT時代即將到來，隨著AI和5G技術(shù)對IoT的加持，我們獲得數(shù)據(jù)以及信息溝通交互的方式將更加的便捷和高效。未來，實時數(shù)據(jù)的增長幅度將大于非實時數(shù)據(jù)，我們更需要對這些實時數(shù)據(jù)進行邊緣側(cè)、端側(cè)的實時處理。然而，傳統(tǒng)的CPU、GPU架構(gòu)難以滿足快速爆發(fā)的AI計算需求，因此我們需要更高效的神經(jīng)網(wǎng)絡(luò)處理器的架構(gòu)設(shè)計。

云天勵飛的芯片覆蓋著端、邊、云的應(yīng)用，利用不同的形態(tài)和組合，可以實現(xiàn)對于AI落地，特別是視覺AI在端、邊、云上的應(yīng)用。

以下為李愛軍的主題演講內(nèi)容，雷鋒網(wǎng)作了不改變原意的編輯與整理。

我是云天勵飛的李愛軍，負責(zé)公司的AI芯片業(yè)務(wù)，今天的演講主題是《芯聯(lián)萬物，智創(chuàng)未來》。

云天勵飛是一個人工智能的創(chuàng)業(yè)型企業(yè)，我們一直致力于打造算法、芯片、大數(shù)據(jù)這三個方面的核心競爭力，從而實現(xiàn)人工智能大規(guī)模產(chǎn)業(yè)化的落地。

5AIoT時代即將到來

自從個人電腦出現(xiàn)以后，我們經(jīng)歷了從計算機時代到互聯(lián)網(wǎng)時代、移動互聯(lián)網(wǎng)時代的社會變革，人類獲取數(shù)據(jù)的方式越來越方便、越來越便利。如今，IoT時代即將到來，隨著AI對IoT的加持，以及現(xiàn)在最熱的5G對IoT的加持，我們獲得數(shù)據(jù)以及信息溝通交互的方式將更加的簡便。

IoT時代，算法會越來越多地應(yīng)用到IoT的邊緣側(cè)和端側(cè)的場景上，同時IoT海量的應(yīng)用場景，為我們的算法提供了海量數(shù)據(jù)，特別是針對場景的數(shù)據(jù)，這些數(shù)據(jù)會反過來推動人工智能算法不斷地加速迭代，實現(xiàn)它更智能化的目的。

在這樣一個有機的循環(huán)和推動下，我們將迎來“5AIoT”(即：5G+AIoT)的時代。

對于芯片來說，到2025年預(yù)計總量會比現(xiàn)在增長7倍，特別是邊緣側(cè)和端側(cè)的芯片，容量會大幅度提升，比云側(cè)芯片會有更大的成長空間。數(shù)據(jù)統(tǒng)計，到2025年云側(cè)芯片規(guī)模將達150億美元，邊緣側(cè)和端側(cè)芯片市場規(guī)模約為516億美元。

我們認為，人類社會現(xiàn)在正在進入整個世界數(shù)字化的進程。

• 2018年，全球的數(shù)據(jù)圈的數(shù)據(jù)規(guī)模大概是33ZB（1個ZB是1萬億字節(jié)），如果把這33萬億字節(jié)的數(shù)據(jù)刻在光盤上，那么光盤疊加起來，其厚度可以繞地球222圈；

• 2025年，全球數(shù)據(jù)圈的數(shù)據(jù)總量會增加到175ZB，實時數(shù)據(jù)的增長幅度將大于非實時數(shù)據(jù)，其中，預(yù)計有30%的數(shù)據(jù)是實時數(shù)據(jù)。

實時數(shù)據(jù)需要的是邊緣側(cè)、端側(cè)的實時處理，這也是推動現(xiàn)在的邊緣側(cè)和端側(cè)人工智能技術(shù)不斷往前發(fā)展的主要動力。

5AIoT場景更復(fù)雜，對算法的需求是多模態(tài)、多維的算法，邊緣側(cè)和端側(cè)未來將是全新的運算平臺，不能只跑某一種算法，而是在AIoT場景下要能應(yīng)對用戶各種各樣的需求，包括多場景、多復(fù)雜度的需求，同時本地的時延要滿足實時數(shù)據(jù)的處理要求；

另外，由于受到邊緣和端側(cè)設(shè)備體積的限制，設(shè)備需要有很高的效能；最后是安全性，安全是人工智能發(fā)展不可逾越或者說不可回避的一個關(guān)鍵問題。

如何讓大家享受到人工智能給我們帶來便利的同時，又讓我們個人的隱私得到有效保護，讓我們覺得安全，我認為這是一個很大的課題，所以我們在5AIoT時代做的芯片要滿足高安全性的需求，保證我們本地的數(shù)據(jù)既要有安全性，同時又保證用戶的隱私。 

從場景出發(fā)，探索新型計算架構(gòu)

5AIoT時代，傳統(tǒng)的CPU、GPU架構(gòu)難以滿足快速爆發(fā)的AI計算需求，例如性能、功耗、成本等方面，所以我們需要更高效的神經(jīng)網(wǎng)絡(luò)處理器的架構(gòu)設(shè)計。

目前對于芯片架構(gòu)的相關(guān)探索，從基于傳統(tǒng)的計算機體系架構(gòu)，包括存儲和計算，數(shù)據(jù)從外部存儲轉(zhuǎn)為內(nèi)部存儲，做完數(shù)字計算再釋放出去，這樣的架構(gòu)下其性能的提升必須通過提高頻率和帶寬，才能夠把AI處理器的性能推到一個新的高度。目前，絕大部分主流的GPU、NPU或者XPU都是類似這樣的架構(gòu)。

云天勵飛通過把存儲單元和計算單元變得更為緊密，變成一個近存儲的計算方式。近存儲計算最大的好處在于我們不用把數(shù)據(jù)從外部導(dǎo)入，而是在計算的邊緣側(cè)就可以直接取到數(shù)據(jù)，從而使得我們計算的效率得到有效的提升，而且它的頻率也不用跑太高；同時在探索存內(nèi)計算有沒有可能在內(nèi)存中，在存和取的過程中就把計算做完，這樣獲得的效率會更高，意味著不需要對大量的數(shù)據(jù)進行搬運，這是我們下一步的目標(biāo)之一。

• 數(shù)字計算靠近存儲（Near Memory）：數(shù)據(jù)搬運距離短，低頻即可提供高吞吐，消除外部數(shù)據(jù)搬運，提高能效比；

• 數(shù)字/模擬混合計算（Mix Signal Processing）：讀取存儲單元即完成計算，無需數(shù)據(jù)搬運，極大的提高能效比。

我們第一代的神經(jīng)網(wǎng)絡(luò)處理器是基于傳統(tǒng)的架構(gòu)來做的，第二代神經(jīng)網(wǎng)絡(luò)處理器是NNP200，已經(jīng)是基于早期的近存儲架構(gòu)來做，所以可以獲得比較高的能效比。

云天勵飛對AI芯片的理解：AI芯片和計算架構(gòu)一定是從場景出發(fā)、為場景服務(wù)，這樣的計算架構(gòu)才能真正滿足大規(guī)模應(yīng)用。

1. 通過我們的系統(tǒng)在AI系統(tǒng)大規(guī)模產(chǎn)業(yè)化落地和部署情況下，去了解行業(yè)的需求和痛點；

2. 基于對行業(yè)的需求和痛點的深刻理解來打造AI的芯片，通過芯片來解決這些場景下的關(guān)鍵問題；

3. 通過優(yōu)質(zhì)的服務(wù)來更多地賦能這個行業(yè)。

在場景方面，云天勵飛做的人臉識別系統(tǒng)已經(jīng)在中國以及東南亞近百個大中型城市進行了部署，覆蓋領(lǐng)域包括：機場、地鐵、酒店、商場、醫(yī)院、社區(qū)等。同時，我們也服務(wù)了國家的多個重要會議和國家重點工程，包括：杭州G20峰會和博鰲論壇等。除此之外，我們在深圳還打造了一個城市級的AI安防的應(yīng)用示范區(qū)。

云天勵飛自主設(shè)計的DeepEye1000神經(jīng)網(wǎng)絡(luò)處理器芯片，是面向以上的應(yīng)用場景做的設(shè)計，我們支持多模態(tài)的計算，可以支持一鍵式AI部署，同時針對邊緣側(cè)和端側(cè)做了優(yōu)化，滿足場景的需要，是異構(gòu)的并行架構(gòu)。

也就是說，這個芯片不是一個純AI算力的芯片，而是滿足邊緣計算的SoC芯片，無論是單位性能，還是單位能效都有著數(shù)量級的提升。這個異構(gòu)架構(gòu)有著分布式、可重構(gòu)的特點，同時可以實現(xiàn)實時動態(tài)任務(wù)的調(diào)度，能夠進行智能高效的存儲和調(diào)度，在這樣的架構(gòu)下保證我們的性能能夠相比于其他芯片有大幅度的提升。

例如動態(tài)調(diào)度帶來的性能提升，在我們用的人臉識別里面關(guān)鍵的幾個算法，包括人臉檢測、人臉跟蹤和人臉識別，這個算法平均的性能提升都超過40%，部分可以達到50%以上。我們的神經(jīng)網(wǎng)絡(luò)處理器架構(gòu)是基于ASIP的指令集技術(shù)架構(gòu)，通過面向?qū)Ｓ脩?yīng)用的數(shù)據(jù)抽取實現(xiàn)了算法高效的支持，同時它是可重構(gòu)的處理器架構(gòu)。重構(gòu)的處理器是PE計算可重構(gòu)的架構(gòu)，這個芯片無論是跑大的算法模型，還是小的算法模型，都可以獲得非常高的效率。同時，它實現(xiàn)了計算存儲融合架構(gòu)，也就是剛才我們看到的Memory計算架構(gòu)，能支持稀疏以及數(shù)據(jù)壓縮，同時支持多核多線程。

芯片賦能端、邊、云

云天勵飛的芯片覆蓋著端、邊、云的應(yīng)用，利用不同的形態(tài)和組合，可以實現(xiàn)對于AI落地，特別是視覺AI在端、邊、云上的應(yīng)用。

• 在前端，我們以單芯片模組的方式實現(xiàn)高性能人臉的處理和視頻結(jié)構(gòu)化的處理；

• 在邊緣端，我們通過芯片組成邊緣智能的計算子板的方式，可以實現(xiàn)單板單機16路或32路視頻結(jié)構(gòu)化的能力，同時它具有很高的性價比；

• 在云端加速，通過多芯片的并聯(lián)，我們做了計算加速板，可以做到單卡32路、單機8卡256路的視頻結(jié)構(gòu)化能力。

在人臉特征提取，功耗小于15W的時候支持600張人臉處理能力，能效比比GPU有10倍以上的提升，性價比比GPU高很多。

此外，我們的芯片也在深耕AIoT的各個應(yīng)用場景，在智慧安防、智慧社區(qū)、智慧商業(yè)、智能制造以及智慧家居等領(lǐng)域形成了一系列的解決方案，這些解決方案都在有條不紊地進行。

在行業(yè)內(nèi)，圍繞著5AIoT，云天勵飛希望跟合作伙伴一起打造自主可控的5AIoT生態(tài)，圍繞著神經(jīng)網(wǎng)絡(luò)可控的處理器打造這樣一個生態(tài)，使得人工智能能夠更快速、更高效地大規(guī)模產(chǎn)業(yè)化落地。

我們的愿景是構(gòu)建“1+1+N”的AI城市綜合服務(wù)體系，致力于打造1張基于5G+AIoT的泛感知的網(wǎng)絡(luò)，使得AI的觸角能夠深入到城市的各個角落，使我們城市治理相關(guān)數(shù)據(jù)的獲取變得更加方便和便利。同時，我們將打造1個基于AI OS的城市大腦，通過這樣一個城市大腦可以實現(xiàn)海量數(shù)據(jù)的分析、挖掘和決策。在一個網(wǎng)絡(luò)和一個城市大腦的基礎(chǔ)之上，我們會構(gòu)建一個又一個面向城市各個應(yīng)用場景的垂直解決方案，通過這些解決方案來服務(wù)于整個城市的治理，包括公安、衛(wèi)生等場景。謝謝大家!

在主題演講結(jié)束后，李愛軍接受了雷鋒網(wǎng)的采訪，以下是本次采訪的要點內(nèi)容。

雷鋒網(wǎng)：云天勵飛將通過構(gòu)建“1+1+N”的AI城市綜合服務(wù)體系，助力自主可控的5AIoT產(chǎn)業(yè)生態(tài)建設(shè)。請問，5G在云天勵飛的5AIoT生態(tài)建設(shè)中的重要性如何體現(xiàn)？自研的AI芯片將在其中發(fā)揮怎樣的作用？

李愛軍：5G在我們整個的“1+1+N”這樣的一個城市的治理體系下，它是很重要的一環(huán)。

未來的城市將會構(gòu)成一個個泛感知的網(wǎng)絡(luò)，它需要構(gòu)建在5G這樣一個基礎(chǔ)之上。AIoT時代的泛感知網(wǎng)絡(luò)，它的數(shù)據(jù)的維度比原來要多很多，而且它的廣度也會更廣。只有通過5G這樣的網(wǎng)絡(luò)，才能夠去實現(xiàn)這些數(shù)據(jù)的傳遞和交互。因此，我們認為5G網(wǎng)絡(luò)和AIoT實際上是相輔相成，相互融合的一個技術(shù)，共同把整個城市的泛感知網(wǎng)絡(luò)搭建起來。

云天勵飛的芯片，將應(yīng)用于整個網(wǎng)絡(luò)的端、邊、云當(dāng)中。當(dāng)我們做一個行業(yè)應(yīng)用時，可以在不同的層級、以不同的形態(tài)來做。在端側(cè)，就用我們的芯片做成了一個小的AI模組，可以用在各種各樣的視覺終端，做實時的視覺的采集和處理；邊緣側(cè)實際就是一個區(qū)域的中心和大腦，我們可以在邊緣側(cè)上處理多路的（原來可以接入16路，甚至32路）視頻，匯聚到邊緣側(cè)，然后我們在這個層面做實時處理。

雷鋒網(wǎng)：云天勵飛的芯片是從場景出發(fā)探索一個新型的計算架構(gòu)，這樣話是否會限制芯片應(yīng)用的市場？未來AI 是需要專用，還是通用的AI芯片？

李愛軍：如果一個芯片做成通用的，我們認為它的生命力反倒是不強的，沒有競爭力的。

一般來講，我們認為的通用CPU，它也是不完全通用的，比如英特爾x86的CPU，主要是用于電腦上，而手機上主要是用Arm的CPU。因此，某種程度來說，不存在一個完全通用的東西，至少在某些特定應(yīng)用里他是有局限性的。

對于我們來說，我們做的芯片是面向視覺AI應(yīng)用的一個神經(jīng)網(wǎng)絡(luò)處理器芯片。首先，它確實是對應(yīng)用場景有自己的定義，對于非視覺AI我們實際上是不擅長的。然而，在視覺AI的應(yīng)用場景下，我們又是相對比較通用的，因為我們是一個神經(jīng)網(wǎng)絡(luò)處理器，我們的AI芯片上面可以執(zhí)行現(xiàn)在的算法，也可以執(zhí)行未來的算法。

未來的AI，專用的和通用的AI芯片都會存在。在云側(cè)，無論是做云側(cè)的數(shù)據(jù)訓(xùn)練，還是大數(shù)據(jù)的分析處理，它需要的是一個相對比較通用的AI芯片。如果是在邊緣側(cè)和端側(cè)，更多需要專用的AI芯片，因為它更多的考慮到效率和性價比。

例如智能音箱，智能音箱里面的AI芯片叫語音識別的AI芯片，這個芯片跟我們用在攝像頭里面的AI芯片（即視覺AI芯片）是兩個概念。該芯片只處理語音信號，所以它的算力會比較小，可能0.1T或0.2T就夠用了；但是，如果我們對這個視頻、視覺進行處理的話，就需要1個T或2個T，甚至更大，這樣的算力才能滿足對視頻處理的要求。

雷鋒網(wǎng)：邊緣側(cè)專用的AI芯片，在各個細分領(lǐng)域差異是否很大？我們?nèi)绾稳?yīng)對這些差異性？

李愛軍：邊緣計算所代表的網(wǎng)絡(luò)層，我們可以稱之為邊緣網(wǎng)絡(luò)層，該層面細分領(lǐng)域?qū)吘売嬎愕囊笫遣灰粯拥?。也就是說，在不同的領(lǐng)域內(nèi)，它會有很多的區(qū)別，比如說用在工業(yè)和安防領(lǐng)域，它本身的這種需求就不一樣，要執(zhí)行的算法也不一樣，它的要求也就不一樣。

我們在落地這些邊緣網(wǎng)絡(luò)層的具體項目時，即使同樣是視覺AI芯片，其解決方案依然會有差別。根據(jù)需求的不同，會根據(jù)某一個應(yīng)用場景對AI芯片的要求進行抽取，在落地的時候，再結(jié)合用戶的一些特別的需求就可以了。

一般地，會有一個“二八原則”，比如80%，甚至90%以上，這個都是共性的需求；那么剩下的10%左右的需求，需要額外的滿足客戶。

雷鋒網(wǎng)：云天勵飛的AI邊緣計算能力如何在各領(lǐng)域體現(xiàn)價值？

李愛軍：在安防領(lǐng)域，原來傳統(tǒng)的攝像頭，它只是具有監(jiān)控的功能，沒有智能分析的功能，因此傳統(tǒng)的攝像頭需要進行智能化升級。例如從人臉抓拍到軟件識別，以及各種視頻結(jié)構(gòu)化，甚至視頻語義理解；至于門禁，因為我們現(xiàn)在裝門禁基本上都是裝在公司這些地方，所以將數(shù)據(jù)放在本地使用可以保護用戶的隱私。此外，門禁對于設(shè)備的實時性是有要求的，如果把數(shù)據(jù)的處理放在云端的話，實時性會難以保證。

新零售領(lǐng)域，它的應(yīng)用會有多個，實際上新零售可以理解為基于智能攝像頭的一整套系統(tǒng)，在這個里面的話，我們的邊緣計算芯片可以放在攝像頭里面，也可以放到智能網(wǎng)關(guān)中，構(gòu)成商超的匯聚節(jié)點。

雷鋒網(wǎng)：從AI的商業(yè)化程度來看，安防、金融、互聯(lián)網(wǎng)服務(wù)和企業(yè)服務(wù)，這些行業(yè)是走在前面的，而云天勵飛選擇的是智慧安防、智慧商業(yè)、智慧家居、智慧制造和智慧社區(qū)這些垂直的領(lǐng)域進行布局，是基于怎樣的一個考慮？

李愛軍：這個主要還是從我們的定位來看的，因為我們做的是視覺AI的神經(jīng)網(wǎng)絡(luò)處理器芯片，所以我們的業(yè)務(wù)布局是圍繞這一點來進行的。

目前的熱點，安防和金融領(lǐng)域，實際上更多的是用于人臉識別，我們只是布局了其中和自身有關(guān)聯(lián)的應(yīng)用而已。安防中的人臉識別，包括視頻結(jié)構(gòu)化，都是和視覺AI相關(guān)的技術(shù)；金融支付領(lǐng)域的人臉識別和安防的人臉識別差不多，技術(shù)是一樣的，所以我們是可以做的。其他方面，比如金融領(lǐng)域的AI應(yīng)用，也就是涉及到金融本身，比如說數(shù)據(jù)監(jiān)管、數(shù)據(jù)分析這些，這些的話跟我們視覺AI芯片沒有太大關(guān)系，所以現(xiàn)在并不涉及。

此外，我們選擇了智慧商業(yè)領(lǐng)域，主要參與的是訪客系統(tǒng)、精準(zhǔn)營銷這塊，這塊也是跟視覺AI密切相關(guān)的；而智能制造領(lǐng)域，我們主要側(cè)重于工業(yè)檢測，這也是視覺AI方面的應(yīng)用；在智能家居領(lǐng)域，我們是用于目標(biāo)檢測，而不是人臉識別；最后是智慧社區(qū)，這個主要就是用于門禁方面。

雷鋒網(wǎng)：針對目前AI芯片市場的競爭不夠充分的觀點，您怎么看？

李愛軍：這個要分開來看，首先我覺得現(xiàn)在的AI芯片相關(guān)應(yīng)用還遠沒有到達爆發(fā)的時候。除了手機行業(yè)，目前我們看到的幾個熱點，比如安防的攝像頭，這也才剛剛開始而已；智能音箱，相對時間長一點；然后再往下看，就發(fā)現(xiàn)好像AI芯片沒有幾個量比較大的應(yīng)用了。

雖然AI芯片關(guān)注度比較高，但它的應(yīng)用落地并不多，所以說這個市場還沒真正起來。但是目前做AI芯片的公司挺多，在這么多的AI芯片廠商中，最后能存活下來的是那些掌握了核心競爭力的玩家。目前的AI芯片的競爭，我覺得還沒開始。

云天勵飛最核心的是神經(jīng)網(wǎng)絡(luò)處理器相關(guān)的技術(shù)，最大的優(yōu)勢是對于場景的理解，和我們基于場景所做的芯片。我們不是一個通用的AI芯片，也不是基于這種通用的AI算法芯片里面，我們是有側(cè)重的，我們瞄準(zhǔn)的是視頻方面的人臉識別，還有視頻結(jié)構(gòu)化相關(guān)的，所以在這類算法上運行效率非常高。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。