作者｜包永剛

編輯｜王  川

金秋十月，各大消費(fèi)電子公司輪番登場(chǎng)，展示最新的產(chǎn)品和技術(shù)，智能體成為了新主角。

vivo展示了手機(jī)智能體 PhoneGPT可以在了解需求后自動(dòng)在餐廳訂座，聯(lián)想AI智能體聯(lián)想AI Now可以化身老師給學(xué)生出題。

隨后，榮耀跨應(yīng)用開(kāi)放生態(tài)智能體的個(gè)人化全場(chǎng)景AI操作系統(tǒng)MagicOS 9.0將推出，OPPO ColorOS 15系統(tǒng)也將AI從單點(diǎn)功能升級(jí)到系統(tǒng)集成。

手機(jī)和PC普及智能體的趨勢(shì)越來(lái)越明顯，對(duì)于強(qiáng)大AI處理器的需求也越來(lái)越高。

作為端側(cè)AI的領(lǐng)導(dǎo)者，高通也為端側(cè)智能體的落地做好了技術(shù)和產(chǎn)品的準(zhǔn)備。

2023年高通驍龍峰會(huì)，高通展示了一系列基于第三代驍龍8的手機(jī)AI應(yīng)用，結(jié)合手機(jī)攝像頭和位置信息的前瞻應(yīng)用終端側(cè)AI助手讓人眼前一亮。

今年2月份，高通在MWC巴塞羅那演示了全球首個(gè)在Android手機(jī)上運(yùn)行的多模態(tài)大模型（LMM），以及基于驍龍X Elite平臺(tái)運(yùn)行的70億參數(shù)的多模態(tài)大模型(LMM)，為智能體在手機(jī)和PC上的落地奠定了基礎(chǔ)。

10月22日將舉辦的2024驍龍峰會(huì)，高通將展示最前沿的終端側(cè)AI新應(yīng)用。讓人期待的是，高通將發(fā)布首款集成了定制高通Oryon CPU的新一代驍龍8系旗艦移動(dòng)平臺(tái)，CPU和AI性能的提升會(huì)有多驚人？基于更強(qiáng)大的AI性能和不斷進(jìn)化的AI軟件棧，高通將激發(fā)出包括智能體在內(nèi)的新一輪AI應(yīng)用創(chuàng)新。

混合AI已成共識(shí)，智能體時(shí)代到來(lái)

在進(jìn)一步探討智能體以及未來(lái)端側(cè)AI的發(fā)展前，不要忽略混合AI已經(jīng)成為行業(yè)共識(shí)，以及輕量級(jí)的生成式AI模型性能足夠好的前提。

以ChatGPT為代表的生成式AI是在2022年后迎來(lái)爆發(fā)，生成式AI一系列超越想象的功能，最初都是基于云端千億參數(shù)的大模型的能力。

《高通AI白皮書(shū)》中提到，每一次基于生成式AI的網(wǎng)絡(luò)搜索查詢，成本是傳統(tǒng)搜索的10倍。

生成式AI要普及，需要成本能被大眾接受，并且體驗(yàn)不差，混合AI是理想的選擇。

所謂混合AI，就是在需要即時(shí)感知即時(shí)處理的情況下使用設(shè)備上的AI模型，在需要更多計(jì)算能力、任務(wù)更復(fù)雜時(shí)使用云端的AI模型。這讓混合AI兼具性能、成本、時(shí)延、隱私等優(yōu)勢(shì)，已經(jīng)成為巨頭押注的方向。

無(wú)論是今年微軟Build大會(huì)推出的全新的PC品類Copilot+ PC（Windows 11 AI+ PC），還是谷歌I/O宣布將AI嵌入到了安卓操作系統(tǒng)，以及蘋(píng)果Apple Intelligence重視使用戶數(shù)據(jù)在本地完成處理，減少對(duì)云端的依賴，都表明混合AI已經(jīng)成為行業(yè)共識(shí)。

高通早在2007年就啟動(dòng)首個(gè)AI研究項(xiàng)目，一直主張以終端為中心的混合AI，也就是讓終端充當(dāng)錨點(diǎn)，云端僅用于分流處理終端無(wú)法充分執(zhí)行的任務(wù)。

大談智能體的手機(jī)和PC廠商進(jìn)一步利用和延展以終端為中心的混合AI，用智能體為終端AI帶來(lái)體驗(yàn)的革新。

榮耀以用戶日?！叭∠鸄PP自動(dòng)續(xù)費(fèi)”需要經(jīng)過(guò)7步人工操作的步驟為例，展示了擁有榮耀AI智能體的MagicOS 9.0后，用戶只需要一句話即可完成復(fù)雜操作。

榮耀CEO趙明將榮耀AI智能體形象地比喻為手機(jī)內(nèi)的“自動(dòng)駕駛”，并表示最大化實(shí)現(xiàn)用戶價(jià)值呈現(xiàn)的AI智能體，應(yīng)具有自然語(yǔ)義理解和計(jì)算機(jī)視覺(jué)、用戶行為習(xí)慣學(xué)習(xí)和場(chǎng)景環(huán)境感知、意圖識(shí)別及決策能力、應(yīng)用內(nèi)及跨應(yīng)用操作四大核心能力。

聯(lián)想也有相似的AI智能體核心理念，聯(lián)想表示要實(shí)現(xiàn)橫跨多個(gè)設(shè)備、橫跨多個(gè)生態(tài)系統(tǒng)的無(wú)縫、安全的AI體驗(yàn)。

基于這一核心理念，聯(lián)想發(fā)布了聯(lián)想AI Now智能體。

要實(shí)現(xiàn)跨應(yīng)用、跨設(shè)備甚至跨生態(tài)的智能體，多模態(tài)大模型是基礎(chǔ)。

就像人類需要利用各種感官學(xué)習(xí)，多模態(tài)生成式AI模型可基于一系列模態(tài)進(jìn)行訓(xùn)練，包括文本、圖像、語(yǔ)音、音頻、視頻、激光雷達(dá)等傳感器數(shù)據(jù)，讓生成式AI模型更加智能。

多模態(tài)大模型已經(jīng)成為AI發(fā)展的方向，行業(yè)領(lǐng)先的OpenAI GPT-4V、谷歌Gemini在云端使用不同模態(tài)的數(shù)據(jù)訓(xùn)練多模態(tài)大模型。

集成了各種傳感器和豐富本地情境信息的手機(jī)和PC是理想的多模態(tài)大模型落地的載體。搭載高通高性能AI驍龍平臺(tái)的終端設(shè)備，能夠帶來(lái)更高的隱私、安全性和更好的個(gè)性化體驗(yàn)，以及對(duì)多模態(tài)大模型的支持。

高通的多模態(tài)AI先行一步 

高通AI研究在今年2月演示的全球首個(gè)在Android手機(jī)上運(yùn)行的多模態(tài)大模型，展示的是一個(gè)超過(guò)70億參數(shù)的大語(yǔ)言和視覺(jué)助理大模型(LLaVA)，可以接受包括文本和圖像在內(nèi)的多種類型的數(shù)據(jù)輸入，并生成關(guān)于圖像的多輪對(duì)話。

通過(guò)全棧AI優(yōu)化，LLaVA能夠在搭載第三代驍龍8移動(dòng)平臺(tái)的參考設(shè)計(jì)上以實(shí)時(shí)響應(yīng)的速度在終端側(cè)生成token。

高通同時(shí)演示了搭載驍龍X Elite的Windows PC上運(yùn)行超70億參數(shù)的多模態(tài)大模型，可接受文本和環(huán)境音頻輸入（如音樂(lè)、交通環(huán)境音頻等），并基于音頻內(nèi)容生成多輪對(duì)話。

能夠率先支持多模態(tài)生成式AI模型，離不開(kāi)高通在AI領(lǐng)域的持續(xù)投入以及領(lǐng)先的技術(shù)和產(chǎn)品。

生成式AI爆發(fā)后不久的2023年初的MWC，高通就展示了全球首個(gè)運(yùn)行在Android手機(jī)上的Stable Diffusion終端側(cè)演示。

2023年底，驍龍移動(dòng)平臺(tái)運(yùn)行的AI大模型的參數(shù)從10億陡增至100億，運(yùn)行Stable Diffusion模型的速度從年初的不到15秒縮短至1秒以內(nèi)，提升幅度和速度驚人。

2024年初，高通推出高通AI Hub，為驍龍和高通平臺(tái)提供豐富的經(jīng)過(guò)優(yōu)化的AI模型，開(kāi)發(fā)者只需通過(guò)幾行代碼即可在搭載高通平臺(tái)的云托管終端上自行運(yùn)行這些模型。

高通也已經(jīng)先行一步，推出了高通AI規(guī)劃器（Qualcomm AI Orchestrator），為智能體未來(lái)成為手機(jī)和PC上的亮點(diǎn)奠定基礎(chǔ)。

高通AI規(guī)劃器利用存儲(chǔ)在終端側(cè)的用戶情境信息，如喜歡的飲食、鍛煉習(xí)慣、常用聯(lián)系人和消息、過(guò)往偏好歷史等作為個(gè)人知識(shí)圖譜，以更好地理解用戶意圖。

通過(guò)理解與本地情境信息相融合的個(gè)人偏好，高通AI規(guī)劃器能夠?qū)⑦@些知識(shí)整合進(jìn)生成式AI助手中，為用戶提供有意義的個(gè)性化回復(fù)和行動(dòng)，提供更快響應(yīng)速度的同時(shí)還能增強(qiáng)隱私性。

借助多模態(tài)模型，高通AI規(guī)劃器支持多種終端交互模態(tài)，包括文本、視覺(jué)和語(yǔ)音。

雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))了解到，高通AI規(guī)劃器將成為高通AI軟件棧的重要組成部分，位于應(yīng)用和AI框架及runtime之間。

集成高通AI規(guī)劃器的高通AI軟件棧將更將強(qiáng)大，能夠最大化降低AI開(kāi)發(fā)的門(mén)檻，更關(guān)鍵的是高通AI軟件棧支持一次開(kāi)發(fā)多終端部署。

完整且易用的高通AI軟件棧運(yùn)行在高通強(qiáng)大的AI硬件之上。

去年發(fā)布的第三代驍龍8搭載的高通AI引擎，CPU性能提升高達(dá)30%，GPU性能提升25%，Hexagon NPU性能更是翻倍。而擁有高通定制Oryon CPU的驍龍X Elite的NPU性能高達(dá)45TOPS，樹(shù)立了AI PC的標(biāo)桿。

高通AI引擎是高通多年全棧AI優(yōu)化的結(jié)晶，自2015年高通推出第一代AI引擎之后每年更新，如今搭載包含CPU、GPU、NPU等異構(gòu)架構(gòu)的高通AI引擎的產(chǎn)品出貨量已經(jīng)超過(guò)25億，涵蓋手機(jī)、XR、汽車、平板、PC、機(jī)器人等，是高通推動(dòng)端側(cè)AI發(fā)展獨(dú)特的優(yōu)勢(shì)。

小米14 Pro、OPPO Find X7 Ultra、榮耀Magic6等一系列搭載第三代驍龍8的旗艦手機(jī)，發(fā)揮了高通AI引擎的能力，率先落地了圖像擴(kuò)充、智慧成片和智慧創(chuàng)建日程、AI消除等A I功能，這些手機(jī)的熱銷充分說(shuō)明了消費(fèi)者的認(rèn)可。

驍龍X系列平臺(tái)是支持包括微軟Surface Pro和Surface Laptop在內(nèi)首批Windows 11 AI+ PC的獨(dú)家平臺(tái)，這讓高通成為移動(dòng)計(jì)算領(lǐng)域領(lǐng)導(dǎo)者的同時(shí)，其NPU的強(qiáng)大實(shí)力也得到了認(rèn)可。

將于10月22日-24日舉辦的2024驍龍峰會(huì)，新一代旗艦移動(dòng)平臺(tái)將再次煥新，CPU和AI是最值得關(guān)注的焦點(diǎn)。

全新一代驍龍8，會(huì)帶來(lái)哪些AI新玩法？

高通一直是全球?yàn)閿?shù)不多兼具連接和計(jì)算領(lǐng)導(dǎo)力的公司。去年，驍龍峰會(huì)上驍龍X Elite一亮相就驚艷全場(chǎng)，憑借著高通的自研Oryon CPU，以及包含NPU的異構(gòu)AI引擎，性能超越同級(jí)別的蘋(píng)果M系列處理器以及x86處理器。

今年即將發(fā)布的新一代驍龍8移動(dòng)平臺(tái)，將首次搭載高通Oryon CPU。以去年驍龍X Elite上Oyron CPU的驚艷表現(xiàn)預(yù)計(jì)，新一代驍龍8移動(dòng)平臺(tái)的CPU性能或?qū)?shí)現(xiàn)飛躍式進(jìn)步。

加之可能進(jìn)一步升級(jí)的GPU和NPU，新一代驍龍8的AI性能將令人矚目。 此外，結(jié)合集成有高通AI規(guī)劃器的高通AI軟件棧，未來(lái)手機(jī)和PC廠商的智能體應(yīng)用將有望獲得更好體驗(yàn)。

但更讓人期待的是，在輕量級(jí)生成式AI模型快速迭代時(shí)代，結(jié)合對(duì)AI技術(shù)發(fā)展敏銳和準(zhǔn)確的洞察，高通能夠充分利用基于強(qiáng)大驍龍8平臺(tái)以及全球領(lǐng)先的5G Advanced、Wi-Fi、藍(lán)牙連接技術(shù)，帶來(lái)一系列前瞻的端側(cè)AI應(yīng)用，這將包含哪些驚喜？

這是一個(gè)即將揭曉的答案，從高通即將展示的前沿、新鮮用例中將可以窺見(jiàn)AI手機(jī)和AI PC新一輪的應(yīng)用創(chuàng)新。

汽車、XR等業(yè)務(wù)也是高通重要的產(chǎn)品線，高通去年介紹了Snapdragon Seamless功能，展示了搭載驍龍平臺(tái)的安卓手機(jī)和PC間進(jìn)行協(xié)作和文件傳輸，這一功能今年是否會(huì)進(jìn)一步拓展到汽車和XR等更多終端，帶來(lái)全新的智能體體驗(yàn)？

從高通戰(zhàn)略的前瞻性、AI技術(shù)的領(lǐng)導(dǎo)力和產(chǎn)品業(yè)務(wù)的廣泛布局，可以看到高通在生成式AI時(shí)代保持領(lǐng)先，未來(lái)高通將會(huì)把AI帶到更廣泛的終端中，成為混合AI時(shí)代的重要推動(dòng)者。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。