0
| 本文作者： 郭思 | 2023-06-29 14:30 |
尖子生不交「廢卷」。
作者 | 郭思
編輯 | 陳彩嫻
2023年4月，中國(guó)AI布道人陸奇在演講中表示，未來是一個(gè)模型無處不在的時(shí)代，他更是堅(jiān)定地預(yù)言有一天大模型會(huì)在手機(jī)上運(yùn)行。
兩個(gè)月后，一則關(guān)于高通演示Stable Diffusion的視頻在網(wǎng)上流傳。 視頻中，操作人員在一部沒有聯(lián)網(wǎng)的安卓手機(jī)上使用了Stable Diffusion 來生成 AI 圖像，整個(gè)生成時(shí)間不超過 15 秒，整個(gè)過程完全在終端進(jìn)行，但是生成效果卻沒打一點(diǎn)折扣。
陸奇關(guān)于大模型會(huì)在手機(jī)上運(yùn)行的預(yù)言，被高通提前變成了現(xiàn)實(shí)。
數(shù)據(jù)顯示，目前已有超過 3000 個(gè)可用的生成式 AI 應(yīng)用和特性，幾乎所有全球科技大公司都在積極布局AI大模型。 然而大模型的成敗，高度依賴算力支撐。一個(gè)人工智能大模型，通常得用數(shù)萬(wàn)億個(gè)單詞訓(xùn)練，參數(shù)量也“飆升”到了上萬(wàn)億。
以GPT為例，OpenAI在2018年推出的GPT參數(shù)為1.17億，預(yù)訓(xùn)練數(shù)據(jù)量為5GB，而GPT-3參數(shù)量達(dá)1750億，預(yù)訓(xùn)練數(shù)據(jù)量達(dá)45TB，在模型訓(xùn)練階段?？偹懔ο募s為3640 PF-days，總訓(xùn)練成本為1200萬(wàn)美元。國(guó)內(nèi)的華為“盤古”大模型參數(shù)最多可達(dá)1.085萬(wàn)億，阿里達(dá)摩院M6最新參數(shù)已從萬(wàn)億躍遷至10萬(wàn)億。
一個(gè)共識(shí)其實(shí)已經(jīng)形成：誰(shuí)能解決算力成本，誰(shuí)便擁有優(yōu)先話語(yǔ)權(quán)。
對(duì)此，科學(xué)行業(yè)眾多「優(yōu)等生」集中開卷，更好的算法，更高能效的芯片，成為主流路線。而高通這個(gè)長(zhǎng)久以來專注于芯片的「尖子生」卻默默提交了一份另辟蹊徑的答卷——混合AI。
混合AI聚焦的是對(duì)于AI計(jì)算的降本增效：
終端和云端協(xié)同工作，在適當(dāng)?shù)膱?chǎng)景和時(shí)間下分配 AI 計(jì)算的工作負(fù)載，以提供更好的體驗(yàn)，并高效利用資源，這便是混合AI。
這一理論可以用章魚這種動(dòng)物來闡釋。章魚擁有巨量的神經(jīng)元，60%分布在章魚的八條腿上，僅有40%在大腦，因此它的觸角有獨(dú)立思考能力且反應(yīng)敏捷，在捕獵時(shí)異常靈巧迅速，腕足之間配合極好，從不會(huì)纏繞打結(jié)。 章魚的大腦相當(dāng)于我們常說的云，而觸角則相當(dāng)于邊緣端也就是手機(jī)電子設(shè)備等終端。 章魚狩獵時(shí)物體最靠近哪邊，便使用那個(gè)觸角。
對(duì)于一個(gè)AI任務(wù)，混合AI這個(gè)章魚會(huì)根據(jù)模型和查詢需求的復(fù)雜度等因素，來決定將這個(gè)任務(wù)丟給哪個(gè)觸角來處理最快最高效。有時(shí)候可能需要A觸角，有時(shí)候需要A+B觸角一起，有時(shí)候得丟給大腦，一切根據(jù)處理任務(wù)的復(fù)雜來決定。
例如，如果模型大小、提示（prompt）和生成長(zhǎng)度小于某個(gè)限定值，并且能夠提供可接受的精確度，推理即可完全在終端側(cè)進(jìn)行。如果是更復(fù)雜的任務(wù)，模型則可以跨云端和終端運(yùn)行。
除此之外，混合 AI 還能支持模型在終端側(cè)和云端同時(shí)運(yùn)行，也就是在終端側(cè)運(yùn)行輕量版模型時(shí)，在云端并行處理完整模型的多個(gè)標(biāo)記（token），并在需要時(shí)更正終端側(cè)的處理結(jié)果。這能極大限度地解決能耗和成本問題。
隱私方面，這個(gè)章魚也處理得得心應(yīng)手，直接從源頭減少數(shù)據(jù)運(yùn)輸過程，隱私泄露的問題便不復(fù)存在。 高通指出，混合 AI 架構(gòu)中有一個(gè)“隱私模式”，當(dāng)用戶利用終端側(cè) AI 向聊天機(jī)器人輸入健康問題或創(chuàng)業(yè)想法等敏感話題時(shí)，這個(gè)模式會(huì)自動(dòng)開啟。
人世間數(shù)百萬(wàn)個(gè)閑暇的小時(shí)流逝過去，方始出現(xiàn)一個(gè)真正的歷史性時(shí)刻，對(duì)一個(gè)問題數(shù)千種同質(zhì)思考，出現(xiàn)了一絲細(xì)微的變化，這便是創(chuàng)新的源頭。
但高通的AI實(shí)力并不僅限于提出一個(gè)創(chuàng)新性理念，它的AI王國(guó)早已通過具體的落地地基得以搭建。 與以往的邊緣計(jì)算一樣，混合AI概念十分前衛(wèi)，但要完美落地，仍需要滿足多方條件。
硬件上，AI端側(cè)需要使用計(jì)算能力強(qiáng)和存儲(chǔ)容量大的終端設(shè)備，算法上，為了將AI模型部署到邊緣設(shè)備上，需要優(yōu)化算法，使其能夠適應(yīng)較小的計(jì)算資源和存儲(chǔ)空間。同時(shí)AI端側(cè)需要有高質(zhì)量的本地?cái)?shù)據(jù)來幫助進(jìn)行推理。
這三點(diǎn)，卻恰恰好是高通的綜合優(yōu)勢(shì)。
數(shù)據(jù)顯示，搭載高通 AI 引擎的終端設(shè)備產(chǎn)品出貨量已超過 20 億，高通以極低功耗提供業(yè)界領(lǐng)先的終端側(cè) AI 性能，提供完美硬件。
在算法上，高通有一批專門的研究團(tuán)隊(duì)從事神經(jīng)網(wǎng)絡(luò)架構(gòu)開發(fā)和調(diào)整工作。 拿最火的視頻產(chǎn)業(yè)舉例，主流視頻算法做法是用卷積神經(jīng)網(wǎng)絡(luò)處理視頻，但這其實(shí)是一個(gè)計(jì)算量巨大的任務(wù)。卷積處理圖像時(shí)需要——將圖像完整地“掃”一遍，有時(shí)會(huì)浪費(fèi)巨大的算力，但真正的視頻，往往存在大量變化不大的場(chǎng)景。 針對(duì)這一問題，高通推出的FrameExit 模型由多個(gè)級(jí)聯(lián)分類器組成，可以隨著視頻幀的復(fù)雜度，來改變模型所用的神經(jīng)元數(shù)量。
簡(jiǎn)而言之，F(xiàn)rameExit就是一個(gè)會(huì)偷懶的計(jì)算模型，有點(diǎn)類似于一個(gè)高效的管理者，深諳資源調(diào)配之道。當(dāng)看到視頻前后幀差異大的時(shí)候，AI會(huì)用整個(gè)模型計(jì)算；前后幀差異小的時(shí)候，則只用模型的一部分計(jì)算。相比于其他模型，這種方法最高甚至能提升5倍的性能，與此同時(shí)，神經(jīng)網(wǎng)絡(luò)檢測(cè)的精確度也大幅增加。
在軟件方面，高通推出的 AI 軟件棧將各種AI軟件產(chǎn)品整合到一個(gè)軟件包，這對(duì)于AI工作者而言便是一個(gè)能滿足各種需求的AI"淘寶"。 里面有琳瑯滿目的主流AI 框架（TensorFlow、PyTorch、ONNX等），亦集成了推理軟件開發(fā)包（SDK），基礎(chǔ)的實(shí)時(shí)操作系統(tǒng)（RTOS）、系統(tǒng)接口和驅(qū)動(dòng)程序以及廣泛的操作系統(tǒng)和用于部署和監(jiān)控的基礎(chǔ)設(shè)施；小打襪子，大到冬衣，用戶都可以在淘寶解決，同理，從模型設(shè)計(jì)到優(yōu)化、部署和分析，這一系列完整工作，開發(fā)者都可以在高通AI 軟件棧里完成。
更有意思的是，在高通AI 軟件棧開發(fā)出的大模型可以在不同地方使用，同時(shí)可以與混合AI部署相結(jié)合，「黃金長(zhǎng)矛」和「勝利之盾」同時(shí)握在高通之手，生成式AI規(guī)?；瘮U(kuò)展與普及，指日可待。
從時(shí)間維度上而言，高通對(duì) AI 的布局其實(shí)由來已久。
2013年，高通Zeroth 處理器發(fā)布，采用了仿生自生物大腦的神經(jīng)元架構(gòu)，能夠不依賴編程、而是通過反復(fù)的“觀察”和“自學(xué)習(xí)”，實(shí)現(xiàn)程序、性能的自我進(jìn)化。
回顧整個(gè)高通AI的布局，Zeroth是重要節(jié)點(diǎn)，卻僅僅只是一個(gè)開始。
2015年，高通在世界移動(dòng)大會(huì)（MEC）上展示了照片分類和手寫識(shí)別應(yīng)用、同年與阿姆斯特丹大學(xué)建立聯(lián)合研究實(shí)驗(yàn)室，并發(fā)布了第一代人工智能產(chǎn)品（驍龍820）。驍龍820集成了首個(gè)專門面向移動(dòng)平臺(tái)的高通AI引擎，支持圖像、音頻和傳感器的運(yùn)算。
2016年，為了在各類設(shè)備上實(shí)現(xiàn)基于深度學(xué)習(xí)的軟件開發(fā)，高通為驍龍系列移動(dòng)處理器開發(fā)了“神經(jīng)處理引擎”（NPE），并為其發(fā)布了SDK(開發(fā)工具包)，這個(gè)SDK的發(fā)布，可以讓軟件開發(fā)者更好地利用移動(dòng)端芯片的深度學(xué)習(xí)能力。一經(jīng)發(fā)布，便被FaceBook（現(xiàn)Meta）等知名企業(yè)相中，通過高通NPE，F(xiàn)aceBook的照片和直播視頻中的現(xiàn)實(shí)增強(qiáng)功能性能提升了5倍。
2019年，高通正式發(fā)布驍龍865移動(dòng)平臺(tái)，支持許多移動(dòng)端的新老應(yīng)用，包括AI實(shí)時(shí)語(yǔ)音翻譯、人像留色、背景虛化、AI一鍵多拍、夜景拍攝與人像智能識(shí)別。
2022年，高通在AI生態(tài)上再推利器，推出高通AI軟件棧（Qualcomm AI Stack），為開發(fā)者提供了一個(gè)絕佳平臺(tái)（上文已有詳細(xì)闡述）。而此次高通白皮書發(fā)布，混合式的AI的提出再次讓我們看到了高通在AI布局上的決心和其長(zhǎng)遠(yuǎn)的規(guī)劃。
一家擁有全球基因的硬件公司在算力成本上的范式創(chuàng)新，這種突破性在AI賽道上已經(jīng)屬于前無古人，也很有可能成為一種里程碑式的存在。
同時(shí)，它留下的想象空間也是巨大的。
這種想象空間源于高通不斷自我革新的突破精神。
另一個(gè)層面，眾多早已扎根的應(yīng)用領(lǐng)域，加上高通在硬件領(lǐng)域的優(yōu)勢(shì)，會(huì)進(jìn)一步擴(kuò)大高通AI布局的外延。 “我們的 AI 能力賦能一系列廣泛的產(chǎn)品，包括手機(jī)、汽車、XR、PC 和物聯(lián)網(wǎng)?！备咄ò灼缡钦f。 比如，在汽車領(lǐng)域，高通推出了 5 納米工藝制程打造的首款可擴(kuò)展自動(dòng)駕駛 SoC 平臺(tái)。本田、梅賽德斯、雷諾、沃爾沃等數(shù)十家廠商都搭載了這個(gè)平臺(tái)。
未來，AI將賦能更加智能的人車交互體驗(yàn)，比如在高通數(shù)字座艙里，用戶可以體驗(yàn)到真正意義上的“和自己的車對(duì)話”。你可以告訴你的車：“導(dǎo)航帶我去機(jī)場(chǎng)，但是在去機(jī)場(chǎng)的路上，我要找個(gè)地方吃個(gè)漢堡，再找個(gè)地方喝某種口味的咖啡，順便把我之前干洗的衣服取了。”對(duì)于這一切要求，「貼心管家」AI都將能高效完成。 “因?yàn)榕c其他商用終端不同，在汽車?yán)锍霈F(xiàn)任何一個(gè)小錯(cuò)誤都可能帶來非常嚴(yán)重的后果。所以我們?cè)诖_保提供最佳體驗(yàn)的同時(shí)，也要確保極高的準(zhǔn)確性?！备咄夹g(shù)公司產(chǎn)品管理高級(jí)副總裁兼AI負(fù)責(zé)人Ziad Asghar表示。
與此同時(shí)，結(jié)合搭載高通平臺(tái)的各項(xiàng)設(shè)備，混合AI在保護(hù)用戶隱私的基礎(chǔ)上，可以應(yīng)用于包括高通AI引擎支持的全球40%的手機(jī)、高通16000 家的客戶相關(guān)的物聯(lián)網(wǎng)設(shè)備、65 款采用高通驍龍平臺(tái)的 XR 終端及未來其他的智能設(shè)備等，推動(dòng)高通實(shí)現(xiàn)在AI領(lǐng)域的無界延展。
混合AI讓「大模型在終端上運(yùn)行」這件事從將來時(shí)變成了進(jìn)行時(shí)。 高通在一定程度上，也會(huì)從一家傳統(tǒng)芯片企業(yè)，成為AI領(lǐng)域極具潛力的黑馬。 翻開高通的白皮書的最后一頁(yè)，對(duì)于混合AI，高通總結(jié)道，憑借具備前瞻性的早期研究和產(chǎn)品開發(fā)投入，目前驍龍平臺(tái)能夠支持參數(shù)超過 10 億的生成式 AI 模型，并即將支持 100 億或更多參數(shù)的模型。
高度凝練，只說數(shù)據(jù)，正如高通多年以來呈現(xiàn)在大眾眼前的形象。在現(xiàn)今的環(huán)境下，或許對(duì)于AI行業(yè)而言，只有高度凝練的“真”，才能不負(fù)這個(gè)時(shí)代。如果我們把科技企業(yè)放在這樣一個(gè)維度上要求，對(duì)于高通混合AI即將帶來的顛覆，這一次或許值得期待。
白皮書鏈接：https://www.qualcomm.cn/ 【雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))】 【雷峰網(wǎng)】 【雷峰網(wǎng)】
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
