12月20日，雷鋒網(wǎng)主辦的AIoT+智慧城市峰會(huì)在深圳舉行，峰會(huì)上清華大學(xué)微納電子系副主任、微電子學(xué)研究所副所長(zhǎng)尹首一教授分享了他對(duì)AI算法如何在物聯(lián)網(wǎng)設(shè)備上實(shí)現(xiàn)AI功能的看法以及超高能效AI芯片的最新進(jìn)展。尹教授認(rèn)為，未來計(jì)算架構(gòu)的創(chuàng)新將是實(shí)現(xiàn)無處不在的AIoT的必然途徑。

IoT AI芯片需要解決的核心問題

今天講到的AI，其核心技術(shù)是深度學(xué)習(xí)，深度學(xué)習(xí)背后核心技術(shù)基礎(chǔ)是神經(jīng)網(wǎng)絡(luò)。如今已被我們廣泛的AI應(yīng)用，如語音助手、以圖搜圖，其核心計(jì)算大部分都在云上完成。隨著物聯(lián)網(wǎng)場(chǎng)景的拓展，在很多場(chǎng)景中考慮到通訊延時(shí)、設(shè)備供電以及個(gè)人隱私的問題，需要在IoT終端以及傳感器上實(shí)現(xiàn)AI計(jì)算。

清華大學(xué)微納電子系副主任、微電子學(xué)研究所副所長(zhǎng)尹首一教授

國(guó)際產(chǎn)業(yè)巨頭，如谷歌、ARM等，均一致認(rèn)為，未來的AI計(jì)算一定是分布式、分層次、分等級(jí)的綜合系統(tǒng)，這將催生巨大的深度學(xué)習(xí)芯片市場(chǎng)。據(jù)美國(guó)Tractica咨詢公司的統(tǒng)計(jì)和預(yù)測(cè)，2016到2025年這十年間深度學(xué)習(xí)芯片市場(chǎng)將飛速增長(zhǎng)，到2025年市場(chǎng)規(guī)模將達(dá)到近700億美金，其中會(huì)有近400億美金的芯片應(yīng)用在各種移動(dòng)設(shè)備、機(jī)器人、無人機(jī)、消費(fèi)電子、可穿戴設(shè)備等IoT領(lǐng)域。

不過，尹教授指出，要滿足IoT設(shè)備對(duì)AI的需求，需要解決的最核心的問題就是AI算力需求和IoT場(chǎng)景供電能力之間的巨大反差。

尹教授進(jìn)一步表示，許多IoT的應(yīng)用對(duì)芯片功耗有非常嚴(yán)格的約束，比如我們每天使用的智能手機(jī)，用戶希望隨時(shí)隨地能夠語音喚醒手機(jī)、通過語言做自然交互，這就需要手機(jī)在具備智能語音識(shí)別能力的同時(shí)還不影響手機(jī)續(xù)航。這樣的AI計(jì)算所能容忍的功耗上限大概是1-2毫瓦，否則手機(jī)待機(jī)時(shí)間就會(huì)受到影響。此外，在智能家電、智能眼鏡、無人機(jī)等場(chǎng)景下，AI計(jì)算也面臨非常嚴(yán)苛的功耗約束。這就是實(shí)現(xiàn)未來AI+IoT愿景所必須解決的問題，如何在這些苛刻的功耗約束下實(shí)現(xiàn)超高能效的AI計(jì)算。

AIoT的AI芯片必須滿足的3個(gè)條件

尹教授指出，從應(yīng)用以及用戶體驗(yàn)的角度出發(fā)，要實(shí)現(xiàn)滿足AIoT需求的AI芯片必須滿足三個(gè)條件：

第一，  可編程性，只有具備可編程性才能滿足不同IoT場(chǎng)景下的不同AI算法的需求；

第二，  對(duì)計(jì)算密集型和訪存密集型算法都非常友好，因?yàn)榻裉斓腁I算法就具備這樣的特點(diǎn)；

第三，超高能效，某些場(chǎng)景下我們希望芯片能耗是毫瓦量級(jí)，有些場(chǎng)景甚至需要微瓦量級(jí)才能滿足長(zhǎng)時(shí)間的IoT計(jì)算需求。

超高能效AI計(jì)算芯片的進(jìn)展

目前從AIoT芯片發(fā)展來看，大家正在從兩個(gè)不同的維度（算法和架構(gòu)）努力實(shí)現(xiàn)超高能效的AI計(jì)算。算法層面努力的方向是讓深度神經(jīng)網(wǎng)絡(luò)模型更加緊湊。尹教授介紹，2016年開始看到學(xué)術(shù)界有很大的進(jìn)展，目前已經(jīng)能夠把神經(jīng)網(wǎng)絡(luò)的權(quán)重位寬壓縮到1bit，使網(wǎng)絡(luò)模型實(shí)現(xiàn)十倍甚至幾十倍的縮小。

更值得注意的是，從統(tǒng)計(jì)看，在極低位網(wǎng)絡(luò)中，即便把網(wǎng)絡(luò)壓縮到1-2bit，精度仍然接近于全精度神經(jīng)網(wǎng)絡(luò)。最新成果顯示，用壓縮后的神經(jīng)網(wǎng)絡(luò)做檢測(cè)和識(shí)別時(shí)與全精度神經(jīng)網(wǎng)絡(luò)誤差只有1個(gè)百分點(diǎn)左右，這個(gè)差距在絕大部分的應(yīng)用場(chǎng)景已經(jīng)可以忽略不計(jì)。

除了算法層面，許多科學(xué)家在探索如何從計(jì)算架構(gòu)的角度實(shí)現(xiàn)更高能效的AI計(jì)算，從2014年開始到今天，學(xué)術(shù)界和工業(yè)界提出了很多AI計(jì)算架構(gòu)方案。但是在未來IoT場(chǎng)景里，目前提出的計(jì)算架構(gòu)仍然難以平衡可編程性、超低功耗和特殊網(wǎng)絡(luò)模型的需求。

從2015年開始，一種新型計(jì)算架構(gòu)，Coarse-grained Reconfigurable Architecture（CGRA），獲得國(guó)際學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注。 2015年《國(guó)際半導(dǎo)體技術(shù)路線圖》（ITRS報(bào)告）將其視為未來大有希望的可編程計(jì)算架構(gòu)。2017年美國(guó)國(guó)防部高級(jí)研究計(jì)劃局（DARPA），為了保證美國(guó)未來仍然能保持國(guó)際電子信息領(lǐng)域的領(lǐng)先地位，發(fā)起了“電子復(fù)興計(jì)劃”，該計(jì)劃大力布局一項(xiàng)被稱為“軟件定義硬件”的研究計(jì)劃。這項(xiàng)計(jì)劃所研究的是“運(yùn)行時(shí)快速重構(gòu)”的硬件架構(gòu)，也就是前面提到的CGRA架構(gòu)。

就在前幾天宣布“開源MIPS指令集”的Wave Computing公司，雷鋒網(wǎng)在《Wave Computing將于明年提供免費(fèi)MIPS架構(gòu)，MIPS能在AI時(shí)代崛起嗎？》一文中也進(jìn)行了介紹，其AI芯片的技術(shù)來源就是CGRA。CGRA之所以受到廣泛關(guān)注，正是因?yàn)榭芍貥?gòu)架構(gòu)能夠?qū)崿F(xiàn)比CPU、GPU、FPGA更高的能量效率，同時(shí)還具有良好的可編程性，可以很好滿足AIoT的需求。

可重構(gòu)芯片的實(shí)現(xiàn)

尹教授介紹，清華大學(xué)可重構(gòu)計(jì)算團(tuán)隊(duì)最早從2006年開始關(guān)注可重構(gòu)架構(gòu)。過去十多年時(shí)間在可重構(gòu)架構(gòu)的基礎(chǔ)理論上做了很多探索性的工作。2015年開始，將可重構(gòu)架構(gòu)應(yīng)用在AI計(jì)算、神經(jīng)網(wǎng)絡(luò)計(jì)算場(chǎng)景，并設(shè)計(jì)了Thinker系列AI芯片。

具體而言，Thinker系列AI芯片區(qū)別于傳統(tǒng)處理器使用指令級(jí)可編程性的技術(shù)路線，在核心運(yùn)算部件、基本處理單元和處理單元陣列等三個(gè)層次上實(shí)現(xiàn)了硬件可重構(gòu)能力。比如在基本的乘法累加部件里實(shí)現(xiàn)不同位寬的自適應(yīng)，很好地支持超低位寬的神經(jīng)網(wǎng)絡(luò)；在基本處理單元層面實(shí)現(xiàn)電路級(jí)重構(gòu)，支持神經(jīng)網(wǎng)絡(luò)中的不同算子；在處理單元陣列實(shí)現(xiàn)架構(gòu)級(jí)重構(gòu)，支持不同類型的神經(jīng)網(wǎng)絡(luò)。

從2006年開始尹教授的團(tuán)隊(duì)已經(jīng)設(shè)計(jì)了三款Thinker芯片，其最高能效可達(dá)每瓦十萬億次運(yùn)算，最低功耗可達(dá)微瓦量級(jí)，可以嵌入到任何一個(gè)需要AI計(jì)算但電池有限的IoT設(shè)備中。

回顧過去30年間處理器的發(fā)展歷程，處理器的性能提升得益于半導(dǎo)體工藝進(jìn)步和計(jì)算架構(gòu)創(chuàng)新的雙輪驅(qū)動(dòng)。但隨著摩爾定律放緩，半導(dǎo)體工藝的提升越來越有限。尹教授表示，去年圖靈獎(jiǎng)獲得者是兩位計(jì)算機(jī)體系結(jié)構(gòu)的大師John Hennessy和David Patterson，他們?cè)趫D靈獎(jiǎng)的獲獎(jiǎng)感言里提到，今天是計(jì)算機(jī)體系結(jié)構(gòu)的新的黃金時(shí)代。這句話很好地詮釋了未來我們的技術(shù)創(chuàng)新和產(chǎn)業(yè)發(fā)展應(yīng)該落腳在哪里。

AIoT+智慧城市峰會(huì)演講視頻全集稍后將在雷鋒網(wǎng)會(huì)員【AI投研邦】里推出，并及時(shí)通知大家。大家可掃描二維碼關(guān)注【AI投研邦】。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。