AI發(fā)展正酣，隨著終端芯片算力越來越高、端側(cè)模型能力越來越強(qiáng)、實(shí)時(shí)響應(yīng)及隱私保護(hù)的端側(cè)應(yīng)用需求增加，端側(cè)AI已然具備落地的條件。端側(cè)AI離客戶和應(yīng)用場(chǎng)景更近，也是具象化AI的重要方式?？梢钥吹剑藗?cè)AI的浪潮“涌現(xiàn)”而至，原有的用戶體驗(yàn)和生態(tài)格局將迎來革命性重塑。

端側(cè)AI是指在終端設(shè)備（如車載智能座艙、智能除草機(jī)、機(jī)器人等終端場(chǎng)景或設(shè)備）上進(jìn)行人工智能計(jì)算和處理，運(yùn)行端側(cè)模型。相較于云端大模型，端側(cè)大模型在資源有限的設(shè)備上高效運(yùn)行，需進(jìn)一步對(duì)模型進(jìn)行壓縮、推理加速及能耗優(yōu)化。目前輕量化模型技術(shù)包含模型剪枝、知識(shí)蒸餾和量化，以上技術(shù)往往組合使用，以達(dá)到最優(yōu)的輕量化效果。將大模型部署在端側(cè)設(shè)備中，可高效賦能智能終端，如降低延遲，更快地響應(yīng)用戶請(qǐng)求；隱私保護(hù)，減少數(shù)據(jù)傳輸，從而降低隱私泄露的風(fēng)險(xiǎn)；減輕云端服務(wù)器的計(jì)算負(fù)擔(dān)，降低對(duì)中心化計(jì)算資源的依賴，從而降低成本；根據(jù)用戶的具體設(shè)備和使用習(xí)慣進(jìn)行定制化優(yōu)化，提供更加個(gè)性化的服務(wù)；無網(wǎng)絡(luò)連接的情況下也能使用，提高了應(yīng)用的可用性和靈活性。

基于大模型在端側(cè)部署的特點(diǎn)和優(yōu)勢(shì)，已落地或即將落地的應(yīng)用場(chǎng)景包括：智能手機(jī)、智能家居、可穿戴設(shè)備、自動(dòng)駕駛汽車、工業(yè)自動(dòng)化、醫(yī)療設(shè)備等。隨著AI技術(shù)的進(jìn)步和芯片產(chǎn)業(yè)的發(fā)展，端側(cè)部署AI的挑戰(zhàn)正逐步被克服，更多的端側(cè)應(yīng)用場(chǎng)景正在落地實(shí)現(xiàn)并逐漸成熟。

首先，大模型本身的算法逐步在優(yōu)化，在眾多細(xì)分行業(yè)，模型的計(jì)算效率相較上一代均有一定量級(jí)的效率提升。模型參數(shù)變得更小，用戶體驗(yàn)卻更加智能。再者，更多參數(shù)較小的大模型被開源，且AI能力日趨成熟，例如智譜AI、阿里千問等大模型廠商都開源了億級(jí)（0.xB左右）到百億級(jí)（x0B）的大模型預(yù)訓(xùn)練模型。這大大降低了大模型應(yīng)用開發(fā)者的使用門檻，同時(shí)加速端側(cè)AI部署。此外，算法層級(jí)的技術(shù)，包括模型量化、剪枝、蒸餾為基礎(chǔ)的模型壓縮算法，以及專為端側(cè)部署設(shè)計(jì)的軟硬件平臺(tái)，都正在快速發(fā)展，這使得大模型在端側(cè)設(shè)備的部署變得更加高效。以上模型變化趨勢(shì)使得端側(cè)AI在本地所需算力、部署成本、運(yùn)行效率得到大大提升，將助力各行各業(yè)智能升級(jí)。

目前，端側(cè)AI芯片廠商、中游模組及軟件廠商、下游終端廠商的產(chǎn)業(yè)鏈上下游正積極推動(dòng) AI在端側(cè)部署落地。多個(gè)芯片廠商已推出最新處理器，支持終端側(cè)多模態(tài)生成式AI，并完成多款大模型的適配。廣和通持續(xù)為AIoT產(chǎn)業(yè)提供模組及解決方案，正積極探索端側(cè)AI相關(guān)技術(shù)，并已推出多款可應(yīng)用于機(jī)器視覺、具身智能、智能割草等場(chǎng)景的端側(cè)AI解決方案，滿足不同終端對(duì)算力及模型的需求。

在端側(cè)AI應(yīng)用上，廣和通深度布局視覺與聽覺計(jì)算，推出高算力和輕量化機(jī)器視覺解決方案，融合了先進(jìn)的處理能力與邊緣計(jì)算優(yōu)勢(shì)，采用了目標(biāo)檢測(cè)、關(guān)鍵點(diǎn)檢測(cè)、圖像分割、超分辨率、圖像增強(qiáng)、360環(huán)視拼接等高效的視覺處理算法。此外，廣和通機(jī)器視覺解決方案支持藍(lán)牙、Wi-Fi等多種無線通信連接方式，在高端智能影像終端、工業(yè)視覺終端、車載終端、機(jī)器人均具有廣泛應(yīng)用場(chǎng)景。 

AI大模型作為當(dāng)前人工智能領(lǐng)域的重要技術(shù)，是孕育新質(zhì)生產(chǎn)力的重要手段。作為大模型應(yīng)用的一個(gè)重要的實(shí)踐領(lǐng)域，端側(cè) AI大模型的全面落地發(fā)展需要全產(chǎn)業(yè)鏈推動(dòng)，包括芯片算力增強(qiáng)、模型優(yōu)化、軟件廠商適配以及終端廠商的落地應(yīng)用。廣和通積極整合產(chǎn)業(yè)上下游資源，為產(chǎn)業(yè)提供融合通信、算力、AI算法、AI引擎、模型等能力的端側(cè)AI解決方案，加速AI商用至終端。

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。