0
2023 WAIC上，高通展示了這樣一項技術：將生成式AI模型 Stable Diffusion放在搭載了第二代驍龍8的移動平臺的手機上運行，在15秒內(nèi)執(zhí)行了20步推理，并生成了一張512x512像素的圖像。
從實際演示效果來看，所生成圖像的效果與云端處理水平相差無幾，用戶輸入文本也完全不受限制。
Stable Diffusion作為從文本到圖像的生成式AI模型，礙于超過10億的巨大參數(shù)，此前主要限于在云端運行，這一次高通卻使其從云端轉(zhuǎn)移到終端，向外界證明其對AI未來的預判：AI處理需要云端與終端協(xié)同處理才能實現(xiàn)AI規(guī)?；臄U展并發(fā)揮最大潛能，端云結合的混合AI是AI的未來。
生成式AI技術擴張，高成本推理難以持續(xù)
AI早已無處不在，智能手機、PC、XR頭顯、智能汽車等眾多終端設備已經(jīng)具備強大的AI能力，例如完成拍攝之后直接在終端完成圖像處理。
過去半年多火爆的生成式AI，意味著AI變革時刻的到來，也刺激了AI市場的發(fā)展。
根據(jù)瑞銀2023年2月份估計顯示，生成式AI的市場規(guī)模將達到1萬億美元。
市場規(guī)模巨大的背后，訓練AI模型的成本也巨大。擁有數(shù)十億參數(shù)的眾多生成式AI模型對基礎設施提出了極高的要求，無論是AI模型優(yōu)化參數(shù)的AI訓練，還是執(zhí)行該模型的推理，至今都受限于大型復雜模型而需要在云端部署。
在云端進行推理的成本已經(jīng)很昂貴，模型的推理成本又將隨著日活用戶數(shù)量及其使用頻率的增加而增加，因此無論規(guī)模大小的公司都將負擔昂貴的運營成本。
例如，對于基于生成式AI的搜索引擎企業(yè)而言，用戶每一次的搜索查詢成本都是傳統(tǒng)搜索方法的10倍，假設每天有超過100億次的搜索查詢，企業(yè)每年的增量成本也將達到數(shù)十億美元。
“混合AI能夠解決上述問題，正如傳統(tǒng)計算從大型主機和瘦客戶端演變?yōu)楫斍霸贫撕蚉C、智能手機等邊緣終端相結合的模式”，高通公司發(fā)布的白皮書《混合AI是AI的未來》闡釋了這一觀點。
高通產(chǎn)品管理高級副總裁兼AI負責人Ziad Asghar也表示：“為實現(xiàn)生成式AI的規(guī)模化擴展，AI處理的重心正向邊緣轉(zhuǎn)移?；旌螦I架構在云端和邊緣終端之間分配并協(xié)同處理AI工作負載，能夠?qū)崿F(xiàn)更強大，更高效且高度優(yōu)化的AI?！?/p>
數(shù)量可觀的生成式 AI 模型可從云端分流到終端上運行
混合AI能夠?qū)⒁恍┨幚韽脑贫宿D(zhuǎn)移到邊緣終端，因此能夠適當減輕云基礎設施的壓力并減少支出。例如開發(fā)者基于完全在終端運行的Stable Diffusion創(chuàng)建應用程序，對于生成的每個圖像承擔更低的查詢成本，或者完全沒有成本。
除了節(jié)省成本，混合AI架構還具有能耗、性能、隱私、安全和個性化方面的優(yōu)勢。
例如邊緣終端總是能以很低的能耗運行生成式AI模型，以及在生成式AI對云的需求爆滿而需要排隊時，向邊緣終端轉(zhuǎn)移計算負載就能避免這一現(xiàn)象發(fā)展，某些時候即便是在用戶無連接的情況下，也正常運行生成式AI應用。
在隱私安全方面，終端側(cè)AI還能保證查詢記錄和個人信息完全保留在終端，打消企業(yè)和個人使用生成式AI的安全顧慮。甚至還能借助數(shù)字助手對用戶的表情和喜好進行個性化分析，提供更貼合每個個體的用戶體驗。
解決計算負載分配難題，終端處理能力是關鍵
混合AI架構之所以能夠?qū)崿F(xiàn)AI的規(guī)?；瘮U展并發(fā)揮其最大潛能，至關重要的一點是其能夠根據(jù)模型和查詢需求的復雜度等因素，選擇不同方式在云端和終端側(cè)之間分配處理負載。
如果模型大小、提示和生成長度小于某個限定值，并且能夠提供可接受的精確度，推理即可完全在終端側(cè)進行。如果是更復雜的任務，模型則可以跨云端和終端運行?；旌螦I還能支持模型在終端和云端同時運行，也就是在終端側(cè)運行輕量版模型的同時，在云端并行處理完整模型的多個標記（token），并在需要時更正終端的處理結果。
由于計算負載的分配方式多樣，混合AI架構幾乎適用于所有生成式AI應用和終端領域，但真正實現(xiàn)終端和云端的高效配合，以及不同工作負載的合理分配，并不是一件容易的事情，在AI領域深耕和積累十多年的高通深有體會。
一方面需要具備一定的算法和模型開發(fā)技術能力，能夠?qū)I模型進行壓縮。高通在很早的時候就已經(jīng)在研究生成式對抗網(wǎng)絡（GAN）和變分自編碼器（VAE），利用VAE技術，高通創(chuàng)建了更好的視頻和語音編解碼器，能夠?qū)⒛Ｐ鸵?guī)?？刂圃?億參數(shù)以下，得以在終端運行。
高通 AI 研究采用整體 AI 模型效率研究方法
縮減之后的AI模型，只有保證足夠的精度才具備實際用處。高通針對量化、壓縮、編譯、神經(jīng)網(wǎng)絡架構搜索多個領域做出研究，例如在量化方面，高通將FP32模型量化壓縮到INT4模型，實現(xiàn)64內(nèi)存和計算能效提升，高通的實現(xiàn)數(shù)據(jù)表明，在借助高通的量化感知訓練后，不少生成式AI模型可以量化至INT4模型，與INT8相比，性能提升約90%，能效提升大約60%。
另一方面，足夠強大的終端處理能力是實現(xiàn)混合AI的關鍵，這就需要在AI相關硬件、軟件、生態(tài)等諸多方面擁有產(chǎn)品技術儲備，高通也已經(jīng)在這些方面全方位布局。
硬件層面，高通所推出的高通AI引擎為智能手機提供支撐，實現(xiàn)的能效是競品的兩倍。具體而言，高通AI引擎采用異構計算架構，包括Hexagon處理器，Adreno GPU 和Kryo CPU都對終端的AI應用進行針對性優(yōu)化。
Hexagon處理器作為高通AI引擎最為關鍵的部分，自2007年首次推出，迄今為止歷經(jīng)數(shù)次迭代，最新的Hexagon處理器包含標量、向量和張量處理器，能夠很好地與神經(jīng)網(wǎng)絡模型的不同部分實現(xiàn)匹配，Hexagon還配備了專門的供電系統(tǒng)，方便按照工作負載適配功率，從而提升系統(tǒng)的能效比。
另外，Hexagon處理器支持微切片推理和INT4硬件加速，在AI處理方面能夠在占用更低內(nèi)存和更低功耗的情況下，實現(xiàn)更高的性能。
要讓高通AI引擎發(fā)揮作用，軟件能力的構建自然不容忽視。
高通AI軟件棧不僅支持TensorFlow、PyTorch、ONNX和Keras等主流AI框架以及TensorFlowLite、TensorFlow Lite Micro和ONNX Runtime等runtime，還集成了高通神經(jīng)網(wǎng)絡處理SDK，面向Android、Linux和Windows不同版本，開發(fā)庫和服務支持最新編程語言、虛擬平臺和編譯器。
這意味著，基于高通AI軟件棧，AI開發(fā)者只需要創(chuàng)建一次AI模型，就能實現(xiàn)不同產(chǎn)品的部署。
另外高通AI軟件棧集成的高通AI Studio，支持從模型設計到優(yōu)化、部署和分析的完整工作流，將提供的全部工具都集成到一個圖形用戶界面，為開發(fā)者提供可視化的工具，能夠?qū)崟r查看模型開發(fā)進度，優(yōu)化開發(fā)體驗。
數(shù)十億AI終端互聯(lián)，全新體驗近在咫尺
有了硬核技術支撐的混合AI，如何賦能生成式AI給客戶帶來新的體驗？
在智能手機領域，每日百億量級的搜索量被滿足，對話功能將不斷改進和強大， 精準的終端側(cè)用戶畫像與能夠理解文字、語音、圖像、視頻等任何其他輸入模態(tài)的大語言模型相結合，智能手機即將成為用戶真正的數(shù)字助手，與用戶自然溝通，提供準確又貼切的回答。
筆記本電腦和PC等原先被視為生產(chǎn)工具的設備，正在向生產(chǎn)力方向演進，例如Microsoft Office 365，可以利用大語言模型的功能和Microsoft Graph 與 Microsoft 365 應用中的用戶數(shù)據(jù)，化身為Office工作者的得力助手，編寫文檔或演示文稿，又或者是分析數(shù)據(jù)和會議協(xié)作，承擔起一部分工作量。
在AI驅(qū)動的汽車座艙中，數(shù)字助手可以訪問用戶的個人數(shù)據(jù)，根據(jù)駕乘人員的個人習慣，包括常用的出行路線以及天氣情況規(guī)劃導航路線，對駕乘人員進行識別，提供定制化的音樂和播客體驗。
生成式AI能夠為XR提供很多令人興奮的前景，例如下一代AI渲染工具將賦能內(nèi)容創(chuàng)作者使用如文本、語音、圖像或視頻等各種類型的提示，生成3D物體和場景，最終創(chuàng)造出完整的虛擬世界。此外，內(nèi)容創(chuàng)作者還將利用文本生成文本的大語言模型，讓能夠發(fā)出聲音并表達情緒的虛擬化身生成類人對話，帶來完全沉浸式的內(nèi)容體驗。
生成式 AI 基于簡單提示創(chuàng)造的沉浸式 3D 虛擬世界
白皮書《混合AI是AI的未來》指出，Stable Diffusion等文本生成圖像類的模型很快將賦能內(nèi)容創(chuàng)作者在3D物體上生成逼真的紋理，并預計這些功能將在一年內(nèi)在智能手機上實現(xiàn)，并延伸至XR終端。而首批文本生成3D和圖像生成3D類的模型將實在未來幾年實現(xiàn)邊緣側(cè)部署。
無數(shù)物聯(lián)網(wǎng)細分領域也將進一步從生成式AI中受益，例如零售行業(yè)，商店經(jīng)理可以根據(jù)即將發(fā)生的事件預測非周期性的促銷機會，并做好相應準備；能源行業(yè)，運營團隊可以創(chuàng)建極端負荷場景并預測電力需求，以及特殊情況下潛在的電網(wǎng)故障，以便于更高效的管理資源，避免斷電等等。
如果沒有建立繁榮的生態(tài)作為支撐，這些生成式AI能夠帶來的用戶體驗升級也只不過空中樓閣，但高通在終端市場數(shù)十億量級的覆蓋和連接，讓這一切看起來都切實可行。
據(jù)市場調(diào)研機構Counterpoint數(shù)據(jù)統(tǒng)計，搭載驍龍和高通平臺的已上市用戶終端數(shù)量已經(jīng)達到數(shù)十億臺，且每年都有數(shù)億臺的新終端在進入市場。
結合高通在生成式AI的研究積累，這些美好愿景已經(jīng)在路上，AI 未來已來。（雷峰網(wǎng)(公眾號：雷峰網(wǎng))）
相關文章：
數(shù)據(jù)，真的是 AI 大模型市場化的「壁壘」嗎？
?中國大模型落地肉搏：誰先「扎進」行業(yè)，誰就先入「咸陽」
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
