0
雷鋒網 AI 科技評論按:深度學習已經在安防,金融,自動駕駛等領域得到了廣泛的應用。市場上的方案大多是基于 GPU 或者精簡指令集 RISC 架構,通過增加多個處理單元提升計算能力。
近日,在雷鋒網 AI 研習社公開課上,鯤云科技 FAE 團隊負責人方舟講解基于數據流架構的 AI 方案和適配的工具鏈。公開課回放視頻網址:
分享嘉賓:
方舟,鯤云科技 FAE 團隊負責人,目前負責鯤云硬件平臺、軟件平臺與編譯器技術支持。他是帝國理工模擬與數字芯片設計碩士,愛爾蘭 IRC 獎學金獲得者。
分享主題:基于定制數據流的 AI 應用
分享提綱:
數據流定制架構與指令集架構的區(qū)別
數據流定制架構的原理和發(fā)展
開發(fā)快速應用數據流定制架構的方法
數據流定制架構的應用
雷鋒網 AI 研習社將其分享內容整理如下:
今天的分享分為四個部分:
第一部分,講一下數據流定制架構是什么以及它與指令集架構有什么區(qū)別。
第二部分,介紹數據流定制架構的原理和基本發(fā)展歷史。
第三部分,介紹開發(fā)快速應用數據流定制架構的方法,鯤云科技如何通過工具鏈來解決終端用戶在使用高性能定制化架構的同時,還能保持應用的簡單化和普遍性。
第四部分,介紹數據流定制架構的應用和實際落地項目。
首先,大家可以看一下下面這個簡單的數學公式,它表示了神經網絡在做卷積時的基本操作,那為什么我們需要一個定制化的架構以及它怎樣實現高性能?
(關于定制 AI 數據流架構的講解,請回看視頻 00:02:10 處,http://www.mooc.ai/open/course/588?=aitechtalkfangzhou)
我們先來看一個經典的指令集架構:
(關于這個經典指令集架構的講解,請回看視頻 00:04:47 處,http://www.mooc.ai/open/course/588?=aitechtalkfangzhou)
我們再看一個指令集執(zhí)行例子,這是一個典型的加法操作。
(關于這個指令集執(zhí)行案例的講解,請回看視頻 00:07:20 處,http://www.mooc.ai/open/course/588?=aitechtalkfangzhou)
經典指令集的好處包括:
首先,現在大部分的 GPU、CPU 都是基于指令集的架構,應用層可以通過軟件和編輯器去將語言最終轉化為機器的語言,即二進制的碼,以很高的效率去執(zhí)行指令和操作,保證兼容性的優(yōu)勢。
其次,針對特定領域的專用架構,可以使用開發(fā)工具將應用下載到架構中,從而實現高效的計算。
相較于指令集,數據流的核心就是保證每個時鐘周期進行有效計算,那就要保證有數據時時刻刻地流入計算單元,得到數據輸出后,將最終數據存儲到內存中,或進行到下一步流水線操作。
(關于這個指令集執(zhí)行案例的講解,請回看視頻 00:10:20 處,http://www.mooc.ai/open/course/588?=aitechtalkfangzhou)
下面是一個典型的基于神經網絡 SSD 的架構:
(關于該部分的講解,請回看視頻 00:11:00 處,http://www.mooc.ai/open/course/588?=aitechtalkfangzhou)
數據流架構能實現性能的極大提升,同時需要解決在復雜計算架構下對于高計算效率保持,以及高定制架構對于不同深度學習算法的通用性支持。這是鯤云的一個基于數據流架構的 AI 解決方案,它的優(yōu)勢包括:
是一種輸入到輸出的數據流架構
最大化 AI 性能,全面使用架構下的計算單元
使用硬件流水線架構完成,數據與控制
(關于定制 AI 數據流架構的講解,請回看視頻 00:17:50 處,http://www.mooc.ai/open/course/588?=aitechtalkfangzhou)
快速實現神經網絡檢測,第一個是實現底層參數化:可配置通路。下圖來自創(chuàng)始人在 1994 年發(fā)表的一篇論文,講述了如何在定制化的架構里,采用不同的操作來執(zhí)行通用人工智能算法。
(關于底層參數化的講解,請回看視頻 00:24:15 處,http://www.mooc.ai/open/course/588?=aitechtalkfangzhou)
第二個就是進行多層并行可拓展的優(yōu)化。通過實現數據并行、Filter 并行、Channel 并行、Layer 并行以及加速器引擎并行的優(yōu)化,來支撐高性能計算。
(關于多層并行可拓展的優(yōu)化的講解,請回看視頻 00:27:00 處,http://www.mooc.ai/open/course/588?=aitechtalkfangzhou)
這是一個數據并行的例子:
基于特定的數據流架構,它可能不像指令集的通用性那么強,那就需要一個工具來將算法解構導入架構結構去完成神經網絡計算的過程,下面就是我們基于 AI 所做的框架工具鏈——RainBuilder:
(關于 Rainbuilder 的具體介紹,請回看視頻 00:31:55 處,http://www.mooc.ai/open/course/588?=aitechtalkfangzhou)
目前我們公司整套數據流架構方案的應用方向主要包括四大領域:
機器人、無人機以及自動駕駛
攝像頭
傳感器
服務器
(關于產品應用方向的具體介紹,請回看視頻 00:35:45 處,http://www.mooc.ai/open/course/588?=aitechtalkfangzhou)
現在,鯤云科技也在招聘各類工程師,期待大家加入!
以上就是本期嘉賓的全部分享內容。更多公開課視頻請到雷鋒網(公眾號:雷鋒網) AI 研習社社區(qū)(http://ai.yanxishe.com/)觀看。關注微信公眾號:AI 研習社(okweiwu),可獲取最新公開課直播時間預告。
雷峰網原創(chuàng)文章,未經授權禁止轉載。詳情見轉載須知。