想要在資金、技術(shù)、人才門檻“三高”的芯片領(lǐng)域沿著領(lǐng)先者走過的路實(shí)現(xiàn)彎道超車，可能性微乎其微，創(chuàng)新則可以顛覆傳統(tǒng)。

前博通副總裁、紫光展銳CTO仇肖莘2019年5月創(chuàng)立的愛芯元智（原愛芯科技）僅用時一年四個月就量產(chǎn)了一款可以與競爭對手迭代十多年的高端視覺芯片比拼的產(chǎn)品。

“ISP（Image Signal Processor，圖像信號處理器）經(jīng)過十幾二十年的發(fā)展性能已經(jīng)達(dá)到傳統(tǒng)算法的極致，我們引入AI的方式顛覆傳統(tǒng)的ISP設(shè)計(jì)，同時提升ISP的性能天花板?！睈坌驹莿?chuàng)始人兼首席執(zhí)行官仇肖莘對雷鋒網(wǎng)表示。

用AI顛覆傳統(tǒng)的ISP，有哪些關(guān)鍵？

感知+計(jì)算的大市場

愛芯元智（原愛芯科技）成立的2019年并非AI芯片初創(chuàng)公司大量成立的時間點(diǎn)，之所以選擇在2019年創(chuàng)業(yè)，仇肖莘說，“我非常看好感知+計(jì)算芯片的應(yīng)用前景。ISP是感知的關(guān)鍵，但這個技術(shù)沿著傳統(tǒng)的方式很難有很大的提升，如果把ISP和AI計(jì)算結(jié)合起來，不僅能夠提升ISP，也有廣闊的應(yīng)用市場，包括智慧交通、智慧城市、運(yùn)動相機(jī)、翻譯筆等?！?/strong>

看好市場的機(jī)遇是一方面，仇肖莘的個人經(jīng)歷也決定了愛芯的創(chuàng)立時間。她本碩畢業(yè)于清華大學(xué)自動化專業(yè)，并在美國南加州大學(xué)取得了電子工程博士學(xué)位。在2018年9月加入紫光展銳任CTO之前，仇肖莘一直在國外工作，曾在AT&T Labs任職并獲得研究卓越獎，也曾任博通公司副總裁。2019年，創(chuàng)業(yè)并且聚焦感知和計(jì)算成為她新的的選擇。“我們希望做AI視覺芯片行業(yè)的開拓者，同時也堅(jiān)持長期主義?！背鹦ぽ氛f。

明確了目標(biāo)，堅(jiān)定了信念后，仇肖莘迅速集結(jié)了一批參與過10顆以上的芯片設(shè)計(jì)和生產(chǎn)的核心成員，業(yè)務(wù)范圍涵蓋芯片的設(shè)計(jì)、生產(chǎn)，軟件和硬件。“我現(xiàn)在可以說，愛芯元智已經(jīng)有非常完整的芯片團(tuán)隊(duì)，負(fù)責(zé)芯片從設(shè)計(jì)到生產(chǎn)到應(yīng)用的各個環(huán)節(jié)?！背鹦ぽ繁硎?。

團(tuán)隊(duì)的完善帶來了產(chǎn)品的快速量產(chǎn)。雷鋒網(wǎng)了解到，愛芯元智的首顆人工智能視覺芯片AX 630A在2019年8月立項(xiàng)，9個月后的2020年5月流片，7月31號回片后一次成功點(diǎn)亮，12月進(jìn)入量產(chǎn)狀態(tài)，今年6月正式風(fēng)險量產(chǎn)。

“AX630A是我們目前的旗艦產(chǎn)品。這款新品第一版就流片成功，既沒有做MPW，也沒做任何Metal Fix?！背鹦ぽ纷孕诺谋硎?。

顛覆傳統(tǒng)ISP的兩大關(guān)鍵

愛芯元智的首款旗艦產(chǎn)品AX630A功耗約3W，可實(shí)現(xiàn)57.6TOPS@800MHz 2w4f算力，等效算力到達(dá)28.8TOPS@800MHz INT4。如果對比市場同類產(chǎn)品，競品以int8運(yùn)行Resnet50的網(wǎng)絡(luò)，AX630A以混合精度的方式運(yùn)行Resnet50，在最終精度幾乎相同的情況下，愛芯的芯片每秒處理的圖像幀數(shù)是競品的十倍多。

 

能夠?qū)崿F(xiàn)一個數(shù)量級性能差距的關(guān)鍵是愛芯元智自研的混合精度NPU以及聯(lián)合設(shè)計(jì)的AI ISP。要用AI顛覆ISP，首先需要解決AI芯片面臨的內(nèi)存墻挑戰(zhàn)。所謂的內(nèi)存墻，是由于內(nèi)存性能遠(yuǎn)小于計(jì)算性能，內(nèi)存不能高效將數(shù)據(jù)傳輸?shù)接?jì)算核心，帶來高功耗和有效率計(jì)算性能不高的問題。

目前業(yè)內(nèi)通過多種方式解決內(nèi)存墻的挑戰(zhàn)，包括存算一體、可重構(gòu)計(jì)算等。愛芯解決內(nèi)存墻挑戰(zhàn)的方式是混合精度。

“AI模型有非常多層，在端側(cè)，目前主流的方式是每一層都讀取8位整數(shù)（int8），但實(shí)際上，在最終模型精度不變的情況下，并不是每一層都需要讀取8位數(shù)，中間層的數(shù)據(jù)表達(dá)4位甚至2位就足夠，不同的層用不同的數(shù)據(jù)精度表達(dá)就是混合精度?！背鹦ぽ繁硎荆?/p>

“采用混合精度設(shè)計(jì)AI芯片可以降低對內(nèi)存的需求，比如原來每層網(wǎng)絡(luò)都讀取8位數(shù)據(jù)，用混合精度表示可能平均只需要4位的精度就足夠，這樣不僅能夠在相同的芯片面積下提供更大的算力而且對內(nèi)存的帶寬需求就可以減少為原來的四分之一，也就解決了內(nèi)存墻的問題?！?/p>

要用混合精度的方式設(shè)計(jì)AI芯片的挑戰(zhàn)在于需要芯片和算法的協(xié)同設(shè)計(jì)，既然是協(xié)同設(shè)計(jì)，就需要同時非常了解算法和芯片架構(gòu)，用算法指導(dǎo)AI芯片的硬件設(shè)計(jì)，同時又要思考AI芯片的設(shè)計(jì)反過來對算法實(shí)現(xiàn)的影響。

也就是說，硬件可以提升算法的效率，而算法又可以繞過硬件的限制，這是一個在算法靈活性和硬件效率間尋求最佳平衡點(diǎn)的難題。

“我們是業(yè)內(nèi)第一個設(shè)計(jì)且量產(chǎn)端側(cè)混合精度AI芯片的公司?！背鹦ぽ氛f。

解決AI芯片的內(nèi)存墻挑戰(zhàn)只是第一步，接下來需要思考的是如何將AI與ISP結(jié)合超越傳統(tǒng)ISP，真正實(shí)現(xiàn)顛覆。

“傳統(tǒng)的ISP流水線（pipeline）有十幾到二十個模塊，我們將ISP流水線中最重要的幾個模塊，包括高動態(tài)、3D降噪等AI化處理，將AI處理融入到ISP流水線中?！背鹦ぽ吠嘎?。

愛芯元智ISP負(fù)責(zé)人、系統(tǒng)架構(gòu)師張興解釋，“用AI的方式實(shí)現(xiàn)ISP流水線中的關(guān)鍵模塊，我們就能夠不斷迭代和優(yōu)化AI模型，不斷提升畫質(zhì)。AX630A從去年7月底回片到現(xiàn)在，我們的模型每半個月更新一版效果，效果實(shí)現(xiàn)了質(zhì)的飛躍?！?/p>

仇肖莘說：“如果用傳統(tǒng)的方式，我們沒有辦法在第一代芯片就達(dá)到行業(yè)內(nèi)迭代了十多年的高端水平。通過AI定義ISP，我們的第一代芯片就趕上了行業(yè)高端ISP，并且在某些性能上實(shí)現(xiàn)了超越?！?/strong>

也就是說，傳統(tǒng)ISP需要通過芯片按年來迭代的方式，才能不斷完善ISP，而愛芯將ISP中的關(guān)鍵模塊AI化，ISP的迭代周期大幅縮短到以周來計(jì)算，提升了ISP的迭代速度的同時，還提高了ISP的靈活性能夠匹配不同傳感器。

“如果是沒有協(xié)同設(shè)計(jì)的ISP和NPU，很難實(shí)現(xiàn)將ISP流水線中的關(guān)鍵模塊軟件化或者說AI化。我們之所以率先量產(chǎn)AI ISP不僅因?yàn)檫@兩個核心IP都是自主研發(fā)，聯(lián)合設(shè)計(jì)也非常關(guān)鍵?！背鹦ぽ诽貏e指出。

“高算力的AI ISP有很多好處，比如可以提升圖像的信噪比，把原來被埋在噪聲里的信號恢復(fù)出來。或者，大算力也能夠?qū)崿F(xiàn)大規(guī)模的智能分析，用于智慧城市等。還有，大算力能夠滿足視頻流處理需求的同時，實(shí)現(xiàn)更好的夜間視頻效果。”

要知道，視頻流的處理對ISP有較高要求，每幀的處理時間只有33毫秒，這對ISP是極大的考驗(yàn)。

注：視頻截圖已做人物隱私保護(hù)

從愛芯展示的視頻看，AX630A在多路視頻結(jié)構(gòu)化智能分析、大規(guī)模智能分析和夜間視頻效果中確實(shí)有顯著提升。這款芯片也已經(jīng)被華東地區(qū)的大客戶采用。

普及AI ISP 

“手機(jī)業(yè)界已經(jīng)發(fā)現(xiàn)在AI算力的支持下，AI算法已經(jīng)超越了傳統(tǒng)ISP算法的效果，因此目前主流的趨勢是用AI算法替代傳統(tǒng)算法，或者將AI算法與傳統(tǒng)算法結(jié)合?！睆埮d指出。

近來，手機(jī)業(yè)界也掀起了自研芯片潮流，頭部手機(jī)公司紛紛研發(fā)起ISP，本質(zhì)原因是影像和顯示功能是消費(fèi)者最容易感知，也最愿意買單的功能，自研ISP能夠在提升手機(jī)影像相關(guān)性能的同時實(shí)現(xiàn)差異化，并且相比研發(fā)SoC，自研ISP的投入產(chǎn)出比最高。

作為率先量產(chǎn)AI ISP的公司，愛芯不會錯過這一市場。愛芯的第二款產(chǎn)品，也是其定位主流的產(chǎn)品AX620A也已經(jīng)在今年5月流片，7月下旬已經(jīng)回片，目前一切順利，預(yù)計(jì)在2022年第一季度客戶會出貨搭載AX620A的產(chǎn)品。

AX620A的功耗小于1W，可以實(shí)現(xiàn)28.8 TOPS @800MHz 2w4f（等效算力 14.4 TOPS @800MHz INT4）的性能，因其主流產(chǎn)品定位AX620A的性能低于AX630A，但因?yàn)镮SP和NPU都是新一代，所以在單核性能和能效及圖像效果上相比旗艦產(chǎn)品AX630A都有所升級。

仇肖莘透露，“我們設(shè)計(jì)AX620A的時候還是希望能做手機(jī)的前處理ISP，所以功耗控制是一個大的設(shè)計(jì)目標(biāo)。在這一應(yīng)用市場，預(yù)計(jì)明年會有好消息和大家分享?！?/strong>

AI ISP應(yīng)用于手機(jī)和智慧城市等場景的效果一旦被市場認(rèn)可，競爭對手就會迅速跟進(jìn)，這也促進(jìn)了愛芯的快速成長。“我們一定要比別人超前幾步，否則很容易被人追上。我們的目標(biāo)是在初期迅速讓產(chǎn)品成系列，并且有相應(yīng)的客戶支持，客戶用起來之后，后續(xù)的產(chǎn)品迭代就會比較慎重，每一代產(chǎn)品都需要有亮點(diǎn)?！背鹦ぽ氛劶皭坌镜漠a(chǎn)品規(guī)劃。

雷鋒網(wǎng)了解到，隨著愛芯芯片的量產(chǎn)，愛芯的團(tuán)隊(duì)人數(shù)從年初的140多人迅速擴(kuò)增到了如今的300人，并且軟件團(tuán)隊(duì)的人數(shù)大約是硬件團(tuán)隊(duì)人數(shù)的1.5倍左右。

“我們的芯片明年會有比較大的出貨量。愛芯元智最終的目標(biāo)還是成為視覺處理領(lǐng)域的頭部企業(yè)，所以我們一定要成規(guī)模。同時，我們現(xiàn)在選擇投資人的時候，也更看重可能帶來的協(xié)同性。”仇肖莘說。 

小結(jié)

愛芯元智的成立時間早已過了AI最熱的時間，但愛芯用技術(shù)和定位證明，只要滿足市場需求的產(chǎn)品就能夠迅速獲得市場認(rèn)可。視覺作為AI落地的重要方向，相比許多AI芯片初創(chuàng)公司僅提供AI加速器的方法，愛芯元智的AI ISP使用的場景以及易用性的更加明確，這也是其產(chǎn)品能迅速落地的關(guān)鍵。

不過，要發(fā)揮混合精度NPU和AI ISP的優(yōu)勢，還有很多技術(shù)關(guān)卡需要持續(xù)突破，這對成立不久的愛芯來說，有大量軟件層面的工作需要做，對使用的客戶來說，也有一定的技術(shù)門檻。

愛芯元智已經(jīng)用自研核心IP表明了其想要在這一市場做大的決心。能否達(dá)成，拭目以待。

相關(guān)文章：

小米 OV 集體自研 ISP 芯片的背后，真相并不簡單

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。