【大咖Live】 人工智能與芯片專場(chǎng)第三期，我們邀請(qǐng)到了清微智能CTO歐陽鵬，帶來了關(guān)于《可重構(gòu)計(jì)算芯片的技術(shù)原理及實(shí)現(xiàn)難點(diǎn)》的主題直播分享。目前，本期分享音頻及全文實(shí)錄已上線，「AI投研邦」會(huì)員可進(jìn)雷鋒網(wǎng)(公眾號(hào)：雷鋒網(wǎng))「AI投研邦」頁面免費(fèi)查看。

本文對(duì)這期分享進(jìn)行部分要點(diǎn)總結(jié)及PPT整理，以幫助大家提前清晰地了解本場(chǎng)分享重點(diǎn)。

分享提綱

一、 什么是可重構(gòu)芯片；

二、 可重構(gòu)芯片的特點(diǎn)及實(shí)現(xiàn)原理；

三、 關(guān)鍵技術(shù)及設(shè)計(jì)難點(diǎn)；

四、 目前的產(chǎn)品成果。

以下為清微智能CTO歐陽鵬的部分直播分享實(shí)錄，【AI投研邦】在不改變?cè)獾幕A(chǔ)上做了整理和精編。完整分享內(nèi)容請(qǐng)關(guān)注【AI投研邦】會(huì)員內(nèi)容。

大家好！非常開心能夠來到這里受雷鋒網(wǎng)的邀請(qǐng)，然后來給大家做一個(gè)技術(shù)的講座。我是清微智能CTO歐歐陽鵬。清微智能科技有限公司，它是一家立志讓智能無處不在的這么一家公司，公司的定位是做全球領(lǐng)先的這種高能效人工智能芯片及解決方案的一個(gè)提供商。

     我們的核心技術(shù)其實(shí)就是可重構(gòu)計(jì)算技術(shù)，這個(gè)技術(shù)是來源于清華大學(xué)，也就是來源于清華大學(xué)的可重構(gòu)計(jì)算實(shí)驗(yàn)室，應(yīng)該是從2006年我們開始做技術(shù)，到現(xiàn)在差不多已經(jīng)做大概13年的的積累，然后我們也是說想基于可重構(gòu)計(jì)算技術(shù)本身去搭建這種高能效的，然后通用的這種人工智能芯片。在原先我們主要是在清華大學(xué)做研究積累，然后直到去年我們出來和產(chǎn)業(yè)化的朋友一起成立了這么家公司,所以公司技術(shù)團(tuán)隊(duì)來于清華大學(xué)微電子所。然后這個(gè)團(tuán)隊(duì)本身也包括一些上市公司的CTO,還有來自MVD聯(lián)發(fā)科華為阿里等等平均大概有十余年的這種軟件算法和硬件經(jīng)驗(yàn)的一些研發(fā)骨干組成。

 

大家其實(shí)可以看這張圖，從2015年我們獲得國(guó)家技術(shù)發(fā)明二等獎(jiǎng)，到2016年至2018年我們連續(xù)推出了think系列的芯片，從think一代到二代，還有think S和think M應(yīng)該是說做了整個(gè)think系列的這種芯片，然后從2018年7月我們成立清微科技，然后到今年6月份，也就是不到一年的時(shí)間，我們完成了其中一款產(chǎn)品的量產(chǎn)。

 

下面我們可能就給大家介紹一下我們核心的一個(gè)技術(shù)，本次直播有很多同學(xué)可能還有很多同行，所以說盡可能的以簡(jiǎn)明的方式去再去給大家講清楚可重構(gòu)計(jì)算技術(shù)以及跟同類的一個(gè)對(duì)比。更重要的是說在做可重構(gòu)計(jì)算的時(shí)候，它存在一些什么樣的難點(diǎn)？為什么這個(gè)難點(diǎn)我們研究了將近十余年，其實(shí)可以看就是人工智能芯片，其實(shí)它的發(fā)展其實(shí)是已經(jīng)是不可阻擋。從這張圖也可以看出來，人工智能計(jì)算其實(shí)正從云端逐漸下沉到邊緣設(shè)備和物聯(lián)網(wǎng)節(jié)點(diǎn)。也就是說無論是在云端還是在邊緣端，其實(shí)都需要到人工智能都需要要有一個(gè)能具有人工智能計(jì)算的一個(gè)硬件載體。一個(gè)下沉帶來的是市場(chǎng)規(guī)模急劇的擴(kuò)大。       

從上面這張圖也可以看出來深度學(xué)習(xí)芯片,其實(shí)也就是目前代表人工智能芯片出貨量從2018年的1.649億，這個(gè)可以到2015年的29億以上，然后到了2025年規(guī)?？梢赃_(dá)到726億美金。所以說人工智能芯片的發(fā)展，帶來了對(duì)深度學(xué)習(xí)芯片的一個(gè)需求，我們來看一下人工智能芯片, 從目前來看，既然它的市場(chǎng)很大，它的規(guī)模會(huì)不斷的發(fā)展,那它到底有什么樣的一些需求？

             

我覺得主要是分三點(diǎn)，第一點(diǎn)就是它的靈活性和可編程性的這樣一個(gè)需求。因?yàn)楹芏嗟木W(wǎng)絡(luò)都會(huì)出來，已經(jīng)出現(xiàn)了，而且不斷的在涌現(xiàn)這種網(wǎng)絡(luò)不同的連接關(guān)系，不同的網(wǎng)絡(luò)結(jié)構(gòu)，你不可能對(duì)每一款芯片去做定制化的實(shí)現(xiàn)，你也不可能說對(duì)新出現(xiàn)的東西你能夠做提前的預(yù)知，所以說你的芯片是應(yīng)該具有靈活性和可編程性的。

 

第二個(gè)就是神經(jīng)網(wǎng)絡(luò)本身它其實(shí)不僅僅是神經(jīng)網(wǎng)絡(luò)，所謂的CN層,第N層等，它其實(shí)還有很多非神經(jīng)網(wǎng)絡(luò)部分，比如像人臉檢測(cè)和識(shí)別里面，它其實(shí)有左邊這部分我們常用的這種神經(jīng)網(wǎng)絡(luò)，但是右邊部分還有很多其實(shí)是非神經(jīng)網(wǎng)絡(luò)部分，也就是說對(duì)神經(jīng)網(wǎng)絡(luò)和非神經(jīng)網(wǎng)絡(luò)的高效處理，才能夠使得整個(gè)人工智能算法處理達(dá)到一個(gè)很好的效果，原先的方案是說對(duì)非神經(jīng)網(wǎng)絡(luò)部分要么用定制化的實(shí)現(xiàn)，要么用CPU來實(shí)現(xiàn)，其實(shí)你的短板還是在你的非神經(jīng)網(wǎng)絡(luò)部分。

 

所以說人工智能芯片應(yīng)該對(duì)神經(jīng)網(wǎng)絡(luò)和非神經(jīng)網(wǎng)絡(luò)都能夠進(jìn)行高效的處理。這個(gè)能效從原先CPU、GPU到IPGA這些能效其實(shí)取決于他們本身的這樣一個(gè)應(yīng)用場(chǎng)景或本身的一個(gè)架構(gòu)，它能效值是不高的。當(dāng)從芯片當(dāng)從人工智能從云端遷移到邊緣端的時(shí)候，我們可以發(fā)現(xiàn)在云端它其實(shí)有高算力，高能效的需求在這個(gè)邊緣端，它其實(shí)有低功耗高能效的需求。

所以說隨著人工智能的需求的發(fā)展，人工智能芯片高能效的需求，比如說能夠到TOPS/W這樣一個(gè)以上的這么一個(gè)性能，也是成為了越來越關(guān)鍵的一個(gè)需求。我們可以看到人工智能的芯片的需求，其實(shí)就是靈活性和高能效，到底我們需要一個(gè)什么樣的一個(gè)系統(tǒng)架構(gòu)?

 

這張PPT講述了是說橫坐標(biāo)是一個(gè)靈活性或者是通用性，他們其實(shí)是可以等價(jià)的，然后縱坐標(biāo)是一個(gè)能效，我們可以看到CPU其實(shí)具有很好的靈活性，但是它能效率很低，而ASIC的能效非常高，但是它幾乎沒有通用性，沒有靈活性。而FPGA、GPU和現(xiàn)在比如說永信的NPU,其實(shí)是在這個(gè)能效上有提升，但其實(shí)他靈活性其實(shí)是在變差的，如果我有新的需求，我才重新的進(jìn)行設(shè)計(jì)。

 

其實(shí)我們也看到在這個(gè)領(lǐng)域，在這個(gè)圖里面，左上角部分有這么一個(gè)區(qū)域，這個(gè)區(qū)域是說軟件和硬件可編程在執(zhí)行的時(shí)候，它可以接近S的這樣一個(gè)執(zhí)行效率。在這里面我們做的研究其實(shí)就做的研究做的技術(shù)積累，其實(shí)就是我們講的可通過計(jì)算可成果計(jì)算，就是能夠打能夠想去達(dá)到CPU的這樣一個(gè)接近CPU的靈活性和達(dá)到一個(gè)接近ASIC的這樣一個(gè)執(zhí)行效率。 

       

這個(gè)技術(shù)本身其實(shí)是最近美國(guó)的DARPA，他們也提出了軟件定義硬件，目的也是說軟件可編程、硬件可編程，同時(shí)想去獲得接近專用電路所謂的ASIC的這樣一個(gè)性能。包括國(guó)際半導(dǎo)體的發(fā)展路線圖，他也講CGRA就是所謂的可重構(gòu)計(jì)算，然后合在一起列為核心關(guān)鍵技術(shù)，美國(guó)把這個(gè)技術(shù)是列為他們的這樣一個(gè)電子復(fù)興計(jì)劃的核心技術(shù)。他們認(rèn)為接下來他們技術(shù)在電子行業(yè)領(lǐng)導(dǎo)做領(lǐng)導(dǎo)地位的話，這一塊是他們重中之重。這是他們2017年提出這么一個(gè)計(jì)劃，其實(shí)我們做這個(gè)技術(shù)其實(shí)是到現(xiàn)在，就是說反過頭來看，我們這個(gè)技術(shù)其實(shí)是比他們?cè)缱隽耸辍?/p>

                   

這是一個(gè)可重構(gòu)的一個(gè)基礎(chǔ)計(jì)算系統(tǒng)。其實(shí)我們也可以看到可重構(gòu)計(jì)算本身它有自己的一套工具鏈，我們叫做CGRA的一個(gè)工具鏈, 包括我們自己內(nèi)部用的時(shí)候，我們是有一套可以兼容用戶，比如說在Tensorflow去開發(fā)，然后能夠直接下沉到編譯到我們芯片上的這樣一套工具。

 

再一個(gè)就是從右圖來看可重構(gòu)這樣計(jì)算系統(tǒng)其實(shí)包含了比如說像控制單元、可通過計(jì)算陣列，還有一些存儲(chǔ)和輸入輸出設(shè)備，這是一個(gè)非?；A(chǔ)的這么一個(gè)計(jì)算系統(tǒng)。

 

這里本來是有一個(gè)動(dòng)畫的，能夠演示一個(gè)基本的一個(gè)過程，但是動(dòng)畫現(xiàn)在放不了，我大致說一下，比如說這里面有配置、數(shù)據(jù)，其實(shí)最右邊其實(shí)列了一個(gè)流程，也就是說可重構(gòu)計(jì)算，其是在正列配置的驅(qū)動(dòng)下進(jìn)行數(shù)據(jù)的加載，進(jìn)行循環(huán)的計(jì)算，最后將結(jié)果導(dǎo)出是這么一個(gè)過程，在這里面其實(shí)是可以做到一次配置、多次數(shù)據(jù)計(jì)算。一旦配置完成，它是在數(shù)據(jù)流的驅(qū)動(dòng)下去完成計(jì)算。我們可以進(jìn)一步再講細(xì)節(jié)一點(diǎn)，左邊這個(gè)其實(shí)是可重構(gòu)架構(gòu)的一個(gè)基礎(chǔ)架構(gòu)，它包含了這樣一個(gè)比如說存儲(chǔ)部分，它包含一個(gè)核心的一個(gè)陣列計(jì)算部分，陣列計(jì)算有陣列的基本單元，這些單元你是可以去設(shè)計(jì)的，它可以是一些粗粒度的，也可以是一些細(xì)粒度的。

 

我們看右邊其實(shí)就是一個(gè)程序，一個(gè)非常簡(jiǎn)單的N次迭代的循環(huán)，我們其實(shí)可以把這個(gè)循環(huán)轉(zhuǎn)成數(shù)據(jù)流圖，這數(shù)據(jù)流圖我這里面只是列了四次迭代，比如說紅色用不同的顏色表示。我們?cè)偻疫吙?，右邊其?shí)是一個(gè)從上到下的一個(gè)時(shí)間軸表示的這么一個(gè)計(jì)算過程。在第一個(gè)T時(shí)刻我再配置一下，我可以完成一個(gè)加法運(yùn)算，然后在下一時(shí)刻，他和原著它一代關(guān)系往下走，從而完成一個(gè)或運(yùn)算和一個(gè)減法運(yùn)算。然后此時(shí)下一次迭代的加法運(yùn)算，它又可以啟動(dòng)。

 

然后所以在這里面你可以看右邊其實(shí)是配置了。原第一次T時(shí)刻它是配置的一個(gè)單元，到T加一時(shí)刻它已經(jīng)配建了三個(gè)單元，然后到T加20克的時(shí)候，第三次迭代的加法又已經(jīng)開始運(yùn)算，然后第一次迭代的乘法開始啟動(dòng)，到了第四次以后其實(shí)整個(gè)電路已經(jīng)配置完成，所有的執(zhí)行過程其實(shí)在數(shù)據(jù)的驅(qū)動(dòng)下去完成，也就是說只要在我配置完成以后，它已經(jīng)是一個(gè)ASIC的一個(gè)執(zhí)行方式。所以你可以看到到T+30其實(shí)是已經(jīng)沒有配置，其實(shí)是展示了和傳統(tǒng)計(jì)算架構(gòu)的一個(gè)對(duì)比，傳統(tǒng)是只能指令驅(qū)動(dòng)的方式，比如說左邊這個(gè)圖它有自己的指令, 所以這是一種指令驅(qū)動(dòng)的一個(gè)實(shí)用計(jì)算模式。

 

我們看右圖，右圖是一個(gè)可重構(gòu)的計(jì)算模式，可能夠是說我通過配置我可以在正面上我配置不同的功能區(qū)域，一旦配置完成以后，它可以實(shí)現(xiàn)數(shù)據(jù)流的驅(qū)動(dòng)，而到了下一個(gè)時(shí)刻，我又可以把我的這個(gè)單元快速的配置成不同的功能，在這個(gè)功能下我又可以去進(jìn)行數(shù)據(jù)流的驅(qū)動(dòng)，所以它是一個(gè)數(shù)據(jù)驅(qū)動(dòng)動(dòng)態(tài)重構(gòu)的一個(gè)空間計(jì)算模式，他沒有指令，它執(zhí)行效率非常高，而且它充分利用了這種數(shù)據(jù)的這種局部性，然后能夠快速地對(duì)數(shù)據(jù)進(jìn)行計(jì)算。它是一種接近ASIC電路的這樣執(zhí)行方式。 

             

前面講了一下可重構(gòu)計(jì)算的一個(gè)大致的一個(gè)基礎(chǔ)系統(tǒng)，以及它一個(gè)基本的一個(gè)執(zhí)行方式，還有和傳統(tǒng)的計(jì)算架構(gòu)的一個(gè)對(duì)比，我們來看一看可重構(gòu)計(jì)算本身它有哪些挑戰(zhàn)？來有哪些難點(diǎn)？

 

其實(shí)我們可以看左邊是個(gè)程序，比如客戶的程序或者開發(fā)程序，然后怎么在我們的可重構(gòu)的這樣一個(gè)計(jì)算架構(gòu)上去執(zhí)行。總的來說其實(shí)挑戰(zhàn)主要有三個(gè)方面。

 

第一個(gè)就是說動(dòng)態(tài)配置下的這樣一個(gè)數(shù)據(jù)驅(qū)動(dòng)的執(zhí)行，如何去充分的去提高陣列的利用率，這是一個(gè)問題。

 

第二就是說我們是一個(gè)規(guī)則的陣列，但是其實(shí)很多運(yùn)動(dòng)它是非規(guī)則的，它可能有條件，有跳轉(zhuǎn)，還有控制等等，如何讓它執(zhí)行的時(shí)候能夠提高計(jì)算能效，這是他的一個(gè)挑戰(zhàn)。

 

第三個(gè)就是你的硬件資源肯定是有限的，但是你的應(yīng)用其實(shí)是無限的，或者說是一個(gè)很大的一個(gè)規(guī)模應(yīng)用，如何讓大規(guī)模的應(yīng)用在有限的應(yīng)用資源上能夠很好地運(yùn)行起來，這其實(shí)是映射的一個(gè)過程，如何去優(yōu)化映射的一個(gè)效率就變得非常關(guān)鍵。

所以說可通過計(jì)算它這個(gè)挑戰(zhàn)，我認(rèn)為主要在以上三個(gè)方面，基本是做了這么多年的這樣一個(gè)研究, 我大概舉兩個(gè)例子，這個(gè)例子其實(shí)是非常具有代表性，它是一個(gè)非常復(fù)雜的一個(gè)程序。從自身的角度來說，它其實(shí)是一個(gè)非完美的一個(gè)嵌套循環(huán)。所謂非完美是說這個(gè)程序它有比如有單條語句，然后橫插在循環(huán)體當(dāng)中，嵌套是說它有多層的循環(huán)嵌套，其實(shí)我們?nèi)グ堰@個(gè)程序去往可乘過陣列上去做的時(shí)候，其實(shí)可以看到每一個(gè)循環(huán)體它有自己的一個(gè)迭代間隔，迭代間隔其實(shí)影響執(zhí)行時(shí)間，不同的嵌套的循環(huán)都有自己的間隔，他們間隔的效率都會(huì)對(duì)本循環(huán)起作用，但是從總的多層的循環(huán)來說，有個(gè)總的一個(gè)間隔，就是說如何協(xié)調(diào)調(diào)配總的間隔，讓整體的執(zhí)行時(shí)間最快就變得非常關(guān)鍵。

 

這里面我們其實(shí)做了一個(gè)工作，我們其實(shí)可以看把不同的子循環(huán)，我們?nèi)グ阉鼉?nèi)層的循環(huán)，我們?nèi)グ阉g隔，把它循環(huán)體給抽出來以后，建立了一個(gè)如圖B所涉家數(shù)據(jù)流圖，然后我們把多層的循環(huán)，然后融合在一起，形成一個(gè)大的一個(gè)循環(huán)體，就是由C所示，從這個(gè)層面上我們?nèi)?yōu)化調(diào)配每個(gè)子循環(huán)的迭代執(zhí)行時(shí)間和以及總的一個(gè)迭代時(shí)間。其實(shí)大家可以看到這個(gè)數(shù)據(jù)流圖其實(shí)存在很多依賴關(guān)系的，如何讓循環(huán)體總的這樣一個(gè)嵌套的循環(huán)體高效的執(zhí)行，這就是優(yōu)化技術(shù)的這樣一個(gè)東西，然后這里面涉及到怎么去調(diào)配間隔。

 

另外是說我們?cè)谶@個(gè)里面我們做了一個(gè)壓縮技術(shù)，如果循環(huán)多了以后，它會(huì)帶來配置信息的冗余，我們通過這樣一個(gè)壓縮的技術(shù)，我們可以極限化的把配置壓縮到這樣一個(gè)非常小的一個(gè)片面一個(gè)片上去，從而可以讓配置的效率非常高。我們需要說在CGRA上執(zhí)行時(shí)間相比說別的，我們可以減少70%的這么一個(gè)執(zhí)行時(shí)間。再一個(gè)就是在可重構(gòu)計(jì)算本身的時(shí)候，其實(shí)你不同的這樣一個(gè)程序的分割，然后在正面上去做映射，哪個(gè)單元負(fù)責(zé)哪個(gè)邏輯，他們之間的數(shù)據(jù)通信，傳輸路徑的長(zhǎng)與短都會(huì)影響到能耗，所以說我們其實(shí)又做了這在能耗約束下的這么一個(gè)模型。

 

這個(gè)模型是說我們?cè)贑GRA上去做，我們可以將能耗減少50%。上面其實(shí)提到了就是說可重構(gòu)計(jì)算的難點(diǎn)，其實(shí)可通過計(jì)算我總結(jié)了三個(gè)方面，但它其實(shí)還是有很多的這種關(guān)鍵點(diǎn)在里面，我上面也舉了兩個(gè)例子，這是兩我們做兩個(gè)優(yōu)化的技術(shù)，也其實(shí)一直圍繞CGRA從計(jì)算架構(gòu)到工具鏈的映射還有優(yōu)化。其實(shí)一路下來，我們以前的實(shí)驗(yàn)，我們的可通過計(jì)算實(shí)驗(yàn)室，這個(gè)也是做將近這么多年的積累，從所以說其實(shí)很多技術(shù)其實(shí)都體現(xiàn)在的我們的論文當(dāng)中，我們專利當(dāng)中包括我們申請(qǐng)了將近120多個(gè)專利，還有我們發(fā)表的這一系列頂級(jí)的論文，還有我們出版的可重構(gòu)計(jì)算的這樣一個(gè)專注，還就是獲得了一系列獎(jiǎng)勵(lì)，所以說可重構(gòu)計(jì)算難點(diǎn)，今天只是用兩個(gè)例子來講,當(dāng)然還有很多的挑戰(zhàn).

       

 

技術(shù)是為應(yīng)用服務(wù)的，我們說做了這么多年研究以后，我們要想的是說將可通過計(jì)算技術(shù)去做產(chǎn)業(yè)化落地。所以接下來我來介紹一下我們從公司層面上做的兩款產(chǎn)品。

 其中一款產(chǎn)品叫做智能語音芯片，他代號(hào)是TX210，這是我們剛才給大家介紹的已經(jīng)量產(chǎn)的一個(gè)低功耗的一款語音芯片。這款芯片今年出貨大概有幾百萬，然后未來兩年我們應(yīng)該可以出貨大概4000萬顆左右。其實(shí)看左邊TX210它的面積非常小，它功耗非常低，可以在兩毫瓦左右執(zhí)行。然后它支持主流的一些神經(jīng)網(wǎng)絡(luò)，包括你不同的位寬的1到16比特它都支持，所以說它可以應(yīng)用在比如像手機(jī)可穿戴設(shè)備，還有這種LT設(shè)備，還有這種智能家居方面，右邊其實(shí)我們已經(jīng)做的一些方案，包括我們做的一些像智能開關(guān)，智能耳機(jī)，智能攝像頭，還有智能手機(jī)，應(yīng)該是有些產(chǎn)品很快大家都可以買到相應(yīng)的產(chǎn)品，目前這款芯片其實(shí)是在市場(chǎng)上還是比較屬于認(rèn)可的。

 

下一款芯片就是我們的智能視覺芯片，我認(rèn)為它是一款多模芯片，它不僅僅是給視覺用，它是也可以做語音，它也支持比如像聲紋比如說語音識(shí)別，它可以去做，這款芯片里面有用到我們的可重構(gòu)計(jì)算引擎，它的AI的算力可以達(dá)到十個(gè)TOPS/W這么一個(gè)性能。然后他內(nèi)嵌了一個(gè)3D引擎，可以比如說像支持結(jié)構(gòu)光，還有TOF，還有包括雙目立體，整體功耗大概在350毫瓦左右，這款芯片應(yīng)該今年可以量產(chǎn)。這款芯片其實(shí)是這可以用在很多場(chǎng)景，比如像智能家居場(chǎng)景，比如說你這個(gè)門鎖都可以用，它還有智能安防，還有智能支付，因?yàn)樗怯幸豢?D加AI，所以說它的安全性可以做得非常高。第二是說智能機(jī)器人，這樣這款芯片它有能夠提供深度信息，所以在比如像導(dǎo)航這方面他可以去提供支持。這款芯片其實(shí)就是定位就是說更智能更安全，還有更高的一個(gè)計(jì)算能效，這是我們TX510的芯片。

 

本文為部分內(nèi)容和PPT，完整內(nèi)容和PPT查看可進(jìn)入雷鋒網(wǎng)(公眾號(hào)：雷鋒網(wǎng))「AI投研邦」查看；（AI芯片研究報(bào)告即將出爐，會(huì)員可免費(fèi)觀看）

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。