0
高通一改往年習(xí)慣，在2020年12月2日發(fā)布了驍龍888。作為2021年旗艦標(biāo)配的移動(dòng)平臺(tái)，驍龍888最新的X1構(gòu)架帶來了25%的CPU性能提升，Adreno 660也給出高通GPU史上最大的35%性能提升。
不過近幾年來，高通旗艦平臺(tái)提升幅度最大的，一直都是它的AI性能。高通產(chǎn)品管理副總裁Ziad Asghar曾經(jīng)表示，AI性能大幅提升的主要來自客戶的需求，他們期待看到AI在新領(lǐng)域?qū)崿F(xiàn)應(yīng)用，比如視頻、游戲、安全等。
但終端用戶依舊不太了解AI的實(shí)際用途和影響，AI硬件的發(fā)展與大眾觀念的普及之間有明顯的脫節(jié)。這次我們以首批搭載驍龍888的小米11和iQOO 7為例，看看移動(dòng)AI能干什么，以及2021年旗艦的AI新玩法。
移動(dòng)AI的核心，是各種用到神經(jīng)網(wǎng)絡(luò)/深度學(xué)習(xí)等AI算法。它們?cè)趫D像、音頻等領(lǐng)域有遠(yuǎn)超傳統(tǒng)算法的效果，但需要專門的AI硬件加速器才能高效地工作。
而高通是首個(gè)將終端側(cè)AI SDK商用化的公司，如今全球有超過5億臺(tái)安卓終端，在使用高通神經(jīng)網(wǎng)絡(luò)處理SDK提供AI功能。而高通的AI性能，從驍龍835時(shí)代就開始倍數(shù)增長(zhǎng)，驍龍845是3TOPS，驍龍855是7TOPS，驍龍865是15TOPS。AI算力達(dá)到這個(gè)量級(jí)，本以為增長(zhǎng)會(huì)明顯放緩，結(jié)果驍龍888又把算力記錄提升到26TOPS。
驍龍888上的是高通第六代AIE，其最核心的Hexagon 780 DSP，把以前Hexagon 600系列中的標(biāo)量，張量（Hexagon Tensor Accelerator）和向量（Hexagon Vector eXtensions）模塊，融合成整體式IP，共享內(nèi)存增加整整16倍。在每瓦性能提升3倍的基礎(chǔ)上，Hexagon 780 DSP標(biāo)量執(zhí)行能力提高50％，張量執(zhí)行吞吐量翻倍，核心切換時(shí)間比以前快1000倍。
驍龍888在機(jī)器學(xué)習(xí)基準(zhǔn)測(cè)試MLPerf中，最高提升4倍，暴漲后的內(nèi)存池可以讓神經(jīng)網(wǎng)絡(luò)在Hexagon 780內(nèi)部運(yùn)行，無(wú)需占用額外內(nèi)存，也能運(yùn)行更大的機(jī)器學(xué)習(xí)推理模型。
類似ARM平臺(tái)“大小核搭配”的傳統(tǒng)藝能，高通為了平衡性能和功耗，在驍龍888的第二代傳感器中樞里，增加了專用的低功耗AI處理器。在功耗不到1mA的情況下，讓AI性能提升5倍。
傳感器中樞集成的AI處理器，負(fù)責(zé)低功耗、無(wú)需喚起的全天候語(yǔ)音響應(yīng)、環(huán)境感知等場(chǎng)景的AI待命，宣稱能分擔(dān)Hexagon 780 80%的工作負(fù)載。需要AI的人眼識(shí)別亮屏、語(yǔ)音助手應(yīng)答、汽笛聲/嬰兒哭聲等語(yǔ)音事件檢測(cè)功能的功耗也更低。
另外，它可以從不同的核心收集和解密5G、WiFi、藍(lán)牙、位置流的連接數(shù)據(jù)，并創(chuàng)建全天候和帶上下文感知的用例，例如手機(jī)識(shí)別周圍聲音自動(dòng)調(diào)整鈴聲音量、在沒信號(hào)停車場(chǎng)實(shí)時(shí)構(gòu)建地圖并追蹤停車位置等情境感知功能。
在驍龍888這一代，高通推出更加開放的AI Engine Direct，開發(fā)者現(xiàn)在可以用統(tǒng)一的API直接訪問Hexagon 780、Kryo CPU和Adreno GPU等的硬件，并有更多的框架的支持。軟硬件的提升，可以更好地支撐不同廠商，讓廠商能根據(jù)各自對(duì)AI理解，做出不同的AI應(yīng)用。
在首批搭載驍龍888的小米11和iQOO 7上，因?yàn)橛懈訌?qiáng)大的AI性能支撐，一大批下滲到日常場(chǎng)景，很接地氣的AI應(yīng)用，就是教科書式的“我很平凡，凡爾賽的凡”。
在小米手機(jī)上，運(yùn)動(dòng)健康領(lǐng)域MACE Micro AI引擎，使用深度學(xué)習(xí)算法提高數(shù)據(jù)準(zhǔn)確精度并降低能耗，一整天的耗電量小于1%（24小時(shí)耗電量 9.6mAh）。
而DNN-HMM框架深度學(xué)習(xí)算法，被小米用在相機(jī)AI聲控上，在拍照?qǐng)鼍暗囊纛l流中，進(jìn)行多指令詞實(shí)時(shí)檢測(cè)。而小愛同學(xué)語(yǔ)音助手的ASR語(yǔ)音識(shí)別、NLP自然語(yǔ)言處理、TTS語(yǔ)音合成，以及一系列的端側(cè)AI功能，因?yàn)橛序旪?88的支持，在小米11上的響應(yīng)速度更快，但功耗卻更低。
GVoice & VOIP雜音比例對(duì)比
而iQOO的AI應(yīng)用，自然是和游戲相關(guān)的。在iQOO聯(lián)合騰訊開發(fā)的游戲Gvoice語(yǔ)音功能中，使用驍龍888的AI引擎和傳感器中樞作為新的硬件載體，GVoice算法負(fù)責(zé)AI的回聲消除和噪音抑制（ECNS），廠商與游戲端定制通信協(xié)議，適配客制化音頻通路。
在提供更好的聲音還原度和噪聲抑制效果時(shí)，運(yùn)行在Hexagon DSP的GVoice語(yǔ)音，可以讓整機(jī)耗電下降20mA/s，其所占的CPU資源在原有基礎(chǔ)上減少約30%。
另外，高通與NLP自然語(yǔ)言處理方案的頭部廠商Hugging Face合作，為第六代高通AI引擎提供強(qiáng)大的NLP庫(kù)。打字時(shí)的本地自動(dòng)補(bǔ)全建議、AI語(yǔ)音助手對(duì)用戶提問的理解、終端側(cè)的實(shí)時(shí)AI翻譯等功能，都將直接受益。
把單攝玩出花的Google，之前就用預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)做到背景虛化、全景、Motion動(dòng)圖（類似iOS平臺(tái)的Live Photo）、AR實(shí)時(shí)追蹤貼圖、超分辨率放大、超級(jí)夜景等多種功能。Snapchat通過AIMET量化其AI鏡頭模型，提高實(shí)時(shí)濾鏡流暢度并增加濾鏡多樣化。
而增加對(duì)循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）和長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)（LSTM）支持的AI模型增效工具包，被開發(fā)者做成了“手機(jī)拍照就能掃描皮膚健康”的應(yīng)用。德國(guó)的trinamiX公司則是用紅外光譜分析材料反光，以此做皮膚檢測(cè)，甚至是垃圾分類。
影像是AI最重要的用途之一，而最能看出不同廠商對(duì)AI的不同看法的，也是影像部分。小米11的夜景模式新增的夜景拍攝視頻，利用AI大幅提升夜景視頻的畫面亮度和降噪表現(xiàn)。夜景視頻可理解為每秒拍攝超過24張超級(jí)夜景照片，是ISP和AI算力暴力提升的直接效果。
小米11在相冊(cè)自帶了證件照功能，自拍之后，交給AI一鍵摳圖，選定規(guī)格和背景就能搞定，不需要跑照相館，也不需要?jiǎng)佑秒娔X。類似的還有AI智能去線、智能去人等功能。
之前的AI魔法換天功能，在小米11直接被玩出花來了。其提供了晴空、雨云、彩虹、夕陽(yáng)、晚霞、星空、月亮、閃電、銀河等幾十種可選內(nèi)容，現(xiàn)在天空上的云朵能像現(xiàn)實(shí)一樣隨機(jī)變化。小米甚至還搞出“焰火版魔法換天”，煙火能實(shí)時(shí)“炸出”自定義的騷氣祝福語(yǔ)。
而對(duì)AI算力要求最高的，是多人物共存的魔法分身視頻功能。其用法雖然很簡(jiǎn)單，而且無(wú)需三腳架，但背后結(jié)合了AI視頻目標(biāo)檢測(cè)、實(shí)時(shí)SLAM場(chǎng)景建模、AI 視頻實(shí)時(shí)人像分割三大算法，而且還要對(duì)視頻實(shí)時(shí)逐幀對(duì)齊拼接。
相比小米11的趣味性，iQOO 7對(duì)AI拍攝的著眼點(diǎn)，要加實(shí)用化一些。iQOO 7使用自研RAW域AI空域降噪模型，對(duì)單幀RAW圖進(jìn)行空域降噪，用AI學(xué)習(xí)識(shí)別畫面高中低頻區(qū)域，再0.01lux分段處理的噪聲模型標(biāo)定，分別使用不同程度的降噪，有效提升畫面純凈度，并保留畫面中不同的明暗細(xì)節(jié)。
而iQOO的黑光夜視2.0是更加極限的AI算法，其做到了3倍ISO、遠(yuǎn)超人眼極限的“夜視儀”效果。針對(duì)拍照時(shí)的翻車操作，iQOO 7的相冊(cè)有純凈度改善和處理人像模糊問題的后期修復(fù)能力。
老照片修復(fù)上色
褪色照/黑白照AI上色，是以前就有云端方案，但因?yàn)殡[私、收費(fèi)和處理時(shí)長(zhǎng)問題，一直鋪不開。在驍龍888的AI算力支持下，iQOO 7也引入情懷向的AI舊照修復(fù)、黑白照上色功能，同樣是在相冊(cè)里的一鍵操作。
AI 希區(qū)柯克變焦
視頻方面，iQOO7做出了一鍵Vlog模板。里面最騷氣的希區(qū)柯克變焦模板，使用AI進(jìn)行目標(biāo)檢測(cè)、背景拉伸，縮放，完成以前需要多攝像頭/變焦協(xié)同和人力移動(dòng)的效果。
AI濾鏡風(fēng)格遷移
常規(guī)的圖片濾鏡只能在給出的濾鏡風(fēng)格里選擇，但AI已經(jīng)能做到濾鏡風(fēng)格遷移，用AI識(shí)別和抽象化提取指定照片（甚至電影截圖）的風(fēng)格，自動(dòng)生成全新的模板。
虹軟“傻瓜相機(jī)”
驍龍888上，高通首次將AI引入自動(dòng)對(duì)焦、自動(dòng)曝光和自動(dòng)白平衡的3A算法?；陲@著性特征分析的自動(dòng)對(duì)焦和自動(dòng)曝光的神經(jīng)網(wǎng)絡(luò)，提供前所未有的準(zhǔn)確度之余，還有實(shí)物運(yùn)動(dòng)跟蹤能力。
虹軟 “傻瓜相機(jī)”功能，在全自動(dòng)的3A之外，還能自動(dòng)跟蹤目標(biāo)和自動(dòng)縮放，連取景和構(gòu)圖都“傻瓜化”了。
視頻實(shí)時(shí)分隔與融合
4K 30FPS的實(shí)時(shí)背景摳圖
在高通AI Engine的支持下，CV-ISP硬件計(jì)算視覺加速器也能提供60fps實(shí)時(shí)景深識(shí)別的人像、背景分割、替換、人體追蹤、物體識(shí)別/追蹤的效果。
高通AI引擎運(yùn)行和加速的Tetras.AI超級(jí)電影應(yīng)用里，驍龍888可以做到4K 30FPS的視頻實(shí)時(shí)背景摳圖、分割和融合，然后還能用不同的形象代替視頻中的角色，與里面的其他人物/角色進(jìn)行互動(dòng)，而且取景框上就能實(shí)時(shí)預(yù)覽最終效果。
數(shù)年間，高通的AI引擎已經(jīng)發(fā)展到第六代，異構(gòu)化和第二代傳感器中樞，已經(jīng)能讓人眼識(shí)別亮屏、語(yǔ)音助手應(yīng)答、語(yǔ)音事件檢測(cè)、情景上下文感知等AI功能可以低功耗地全天候工作。
而小米11和iQOO 7，在相機(jī)上的超級(jí)夜景視頻、摳圖、魔法換天、舊照恢復(fù)、希區(qū)柯克變焦模板、自由濾鏡等更加重度的AI新玩法，也在刷新我們對(duì)AI拍照的理解。一邊是下沉滲入到日常使用的傳統(tǒng)功能AI化，一邊是新發(fā)掘的非線性、散點(diǎn)出現(xiàn)的AI新玩法。
但 “真正的科技就是讓你感覺不到它的存在”，大眾對(duì)移動(dòng)AI實(shí)際用途的感知割裂，或許正是AI已經(jīng)深入生活的注腳。當(dāng)被新旗艦玩出花的AI功能，從點(diǎn)連成線、連成面之后，就是真的“我很平凡，凡爾賽的凡”了。
雷鋒網(wǎng)文章，轉(zhuǎn)載雷鋒網(wǎng)文章請(qǐng)聯(lián)系雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
