0
當下最受歡迎的手機App是什么？相信十個人中有九個都會回答“短視頻”。
隨著5G網(wǎng)絡(luò)逐步落地，網(wǎng)絡(luò)傳輸速度不再是瓶頸，加之手機拍攝素質(zhì)不斷提升，大眾越來越熱衷于通過視頻的形式來進行自我表達。
為了讓用戶更好地展現(xiàn)個性與審美，快手等短視頻平臺陸續(xù)上線了花樣繁多的濾鏡及特效功能，使得“老鐵”們無論在繁華都市還是田間地頭，都能創(chuàng)作出充滿趣味和生命張力的短視頻作品。
比如一秒變裝童話在逃公主：
如果你熱衷于看肥皂劇，也能輕松化身霸道總裁或瑪麗蘇女主。更厲害的是，在快手上使用“娃娃臉”特效，還可以一鍵回到幼兒時期。當然，展望自己中老年時期的模樣也不在話下，輕松幫你秒速穿越“我的一生”。
不過，這些好玩又有趣的特效背后，其實深藏著AI科技的功與名，全球領(lǐng)先的移動平臺廠商高通也沒少操“芯”。就拿快手上廣受好評的“手繪濾鏡”來說，它能夠持續(xù)將用戶拍攝視頻的每一幀畫面轉(zhuǎn)換成唯美的手繪作品。
這一濾鏡特效的實現(xiàn)大致可以分成幾個步驟：首先，用戶拍攝視頻時，ISP會處理視頻并發(fā)送給快手App?？焓諥pp會對視頻的每一幀進行預(yù)處理，并進行人臉偵測和剪切等；然后再發(fā)送到高度定制化、類似于UNET的神經(jīng)處理網(wǎng)絡(luò)（即機器學習算法），該神經(jīng)處理網(wǎng)絡(luò)將生成與輸入幀相融合的手繪特效。之后，再通過化妝和美顏算法對整體圖像質(zhì)量進行優(yōu)化，就得到美美的特效預(yù)覽啦。
以上每一個步驟都需要借助精密巧妙的算法來實現(xiàn)，而其中最關(guān)鍵的就是生成手繪特效的神經(jīng)處理網(wǎng)絡(luò)。作為AI算法的一種，它和傳統(tǒng)軟件中算法的最大不同就在于，它可以通過不斷學習來提升自己的能力。你不妨把它想象成一個學霸，可以通過不斷“刷題”來提升成績，而且刷的題型越多，成績就越出色。AI算法也熱衷于“刷題”，它訓練自己的題庫便是海量的圖像和視頻數(shù)據(jù)。
作為短視頻賽道上的領(lǐng)頭羊，快手擁有龐大的用戶基數(shù)。根據(jù)快手大數(shù)據(jù)研究院發(fā)布的《2021快手內(nèi)容生態(tài)半年報》，快手應(yīng)用平均月活用戶已經(jīng)高達5.198億。同時，快手不久前發(fā)布的《2021快手創(chuàng)作者生態(tài)報告》顯示，2020年，超25%的快手應(yīng)用平均月活用戶為內(nèi)容創(chuàng)作者。據(jù)此估算，快手平臺上聚集的內(nèi)容創(chuàng)作者數(shù)量已經(jīng)超過2億，而這背后是數(shù)量更加驚人的視頻數(shù)據(jù)。這些數(shù)據(jù)就像水流一樣源源不斷地澆灌著快手的算法之花，使其愈發(fā)嬌艷。
對AI略有了解的讀者都知道，算法、數(shù)據(jù)和算力被譽為驅(qū)動AI發(fā)展的三大引擎，缺了其中任何一個，AI產(chǎn)業(yè)這艘巨輪都跑不起來。落到“手繪濾鏡”這樣一個具體的功能上亦是如此。盡管有了出色的算法和豐富的數(shù)據(jù)，但要讓用戶獲得完美流暢的使用體驗，中間仍缺少一個必要環(huán)節(jié)，那就是強大的AI算力。
快手發(fā)現(xiàn)，雖然“AI藝術(shù)家”能夠創(chuàng)作出引人入勝的手繪作品，但在速度方面卻難以滿足需求，實際使用時會出現(xiàn)幀率下降的情況。
“手繪濾鏡”算法默認是在CPU上運行，而CPU是一個通用計算單元，并非運行AI工作負載的最佳選擇。在這種情況下，App提供商通常會選擇在云端進行復雜的AI處理，然而云端又會受到網(wǎng)絡(luò)覆蓋的影響，導致額外的時延和其他變化。幾經(jīng)探索，快手終于找到了一個完美的解決方案——搭載高通AI引擎的驍龍移動平臺。
高通的驍龍移動平臺大家已經(jīng)耳熟能詳了，比如最新的驍龍888、驍龍780G等等，但什么是高通AI引擎呢？高通AI引擎其實是人工智能引擎（Atificial Intelligence Engine）的簡稱，它并非一枚全新的芯片，而是可以內(nèi)置在驍龍移動平臺中的一套涵蓋完整軟硬件的AI解決方案。
那么，高通AI引擎具體都包含哪些關(guān)鍵組件呢？首先，硬件方面，高通AI引擎采用異構(gòu)運算，內(nèi)部包含Hexagon 處理器、Adreno GPU 和 Kryo CPU 的人工智能優(yōu)化組合。其中，Hexagon 處理器擅長處理涉及向量數(shù)學的應(yīng)用工作負載；Adreno GPU擅長處理精度較高的數(shù)據(jù)運算，比如圖像和視頻等等；Kryo CPU則更加擅長對常規(guī)數(shù)據(jù)的運算與處理。
如果你對這些專業(yè)詞匯感到陌生，沒關(guān)系，你可以把它們想象成一個工廠里的三條生產(chǎn)線，分別擅長生產(chǎn)不同的產(chǎn)品。在異構(gòu)運算的條件，工廠接到生產(chǎn)任務(wù)后會首先分析該任務(wù)究竟是哪條生產(chǎn)線更擅長的，并進行相應(yīng)的分配，從而讓整個工廠處于最高的生產(chǎn)效率。
同時在軟件層面，高通AI引擎包含了驍龍神經(jīng)處理 SDK、Android NN 和 Hexagon NN。軟件配套組件的主要作用在于讓開發(fā)者和OEM廠商可以更加容易地應(yīng)用高通AI人工智能引擎，以便在最短的產(chǎn)品研發(fā)周期中，第一時間推出自家定制化、個性化的AI智能終端產(chǎn)品。對于開發(fā)者與OEM廠商而言，一套解決方案最為重要的除了強大的功能外，易用性則是第二考慮因素。很顯然，高通AI人工智能引擎很好地兼顧了這兩點。
除了在產(chǎn)品設(shè)計之初就將易用性刻入高通AI引擎的基因，高通還和下游廠商進行了大量的共創(chuàng)工作，以幫助后者最大限度發(fā)揮高通AI引擎的巨大潛力。比如，為了給快手的“手繪濾鏡”功能提供算力支撐，高通技術(shù)公司和快手從驍龍765移動平臺推出時就展開合作。驍龍765首次釋放了CPU的工作負載，并通過Hexagon處理器來完成相應(yīng)工作，這使得手繪濾鏡的幀率（FPS）提升了56%，并且功耗降低32%（降低顯示功率），從而帶來無縫的視頻拍攝體驗。
而且，高通技術(shù)公司和快手工程師通力合作，針對快手對于未來移動平臺在性能、功耗、擴展性和兼容性方面的需求進行分析。高通神經(jīng)網(wǎng)絡(luò)處理SDK能夠以軟件的方式提供支持，而Hexagon處理器則是作為AI加速器提供支持。并且，雙方針對量化開展的聯(lián)合工作對于此次合作的成功發(fā)揮了關(guān)鍵作用，因為其能夠在提升性能和能效的同時，確保處理的精確度。
基于此，高通還正在推動雙方合作更進一步，確?？焓炙璧母鞣N特性能夠面向最新一代驍龍778G平臺及時進行優(yōu)化，滿足驍龍778G終端的商用需求。
隨著“家族”不斷壯大，高通AI引擎的性能也在不斷提升。在驍龍888移動平臺中，高通最新推出了第六代高通AI引擎。作為一整套處理器協(xié)作系統(tǒng)，這代AI引擎包含了重新設(shè)計的Hexagon 780處理器，不僅使標量、張量和向量加速器之間的物理距離幾乎消失，還在這三個不同的加速器之間添加了一個共享內(nèi)存，實現(xiàn)了更快和更高效的數(shù)據(jù)移動和共享。在某些用例下，數(shù)據(jù)交互時效實現(xiàn)了千倍提升。不僅如此，加速器本身也實現(xiàn)了提升，其中標量加速器性能提升50%，張量加速器的矩陣處理速度提升了2倍?；谌碌募軜?gòu)設(shè)計，Hexagon每瓦特性能較前代平臺提升高達3倍，并實現(xiàn)了每秒26萬億次運算（26 TOPS）的驚人算力。驍龍888 Plus支持的第6代高通AI引擎已經(jīng)實現(xiàn)高達32TOPS的算力。
基于強大的算力，高通AI引擎正在為越來越多的終端應(yīng)用提供可靠支撐。除了前面提到的視頻濾鏡還包括AI刷臉、拍照翻譯、3D Animoji等等。不過，對于絕大多數(shù)用戶而言，高通AI引擎帶來的最直觀變化還是拍照體驗的提升。得益于專屬AI處理和加速，國產(chǎn)安卓旗艦在無需堆疊硬件傳感器的前提下，通過軟件算法等就能實現(xiàn)更加出色的拍照效果。
除了視覺方面的應(yīng)用，高通AI引擎也在幫助手機中的“虛擬助理”不斷提升語音交互能力。比如vivo手機的虛擬助理Jovi背后，是就是高通AI引擎作為心臟在不斷供血。
高通AI引擎能力不斷提升的過程，正是手機AI不斷拓展其應(yīng)用邊界的過程。不夸張地說，高通AI引擎的發(fā)展史也是手機AI的普及史。
雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
