0
| 本文作者： 劉路遙 | 2023-04-19 14:20 |
ChatGPT-4的橫空出世，讓AI行業(yè)再一次柳暗花明。
某AI企業(yè)人士如此評價GPT-4的進(jìn)步：“GPT-3或3.5像一個六年級學(xué)生，而GPT-4像一個聰明的十年級學(xué)生?！?/p>
即將畢業(yè)的小學(xué)生與新晉高中生的思維差距，既體現(xiàn)在涉獵知識的廣度上，也體現(xiàn)在獨(dú)立思考的深度上。
GPT-4為代表的AI智力上的提升，直觀表現(xiàn)為，從實現(xiàn)單調(diào)的文本交互，轉(zhuǎn)變?yōu)榭梢越邮軋D像、文本作為輸入，并表現(xiàn)出更人性化的交互能力。
這種處理多種類型信息的能力，被稱為“多模態(tài)”技術(shù)。
接下來，掌握了多模態(tài)AI技術(shù)秘鑰的公司，將可以進(jìn)一步拓展下游新興領(lǐng)域，改變傳統(tǒng)AI定制化的特點，向通用化方向發(fā)展。
整個產(chǎn)業(yè)也將在更加多樣化的場景應(yīng)用，以及產(chǎn)業(yè)鏈條的進(jìn)一步集成融合中，迎來規(guī)?；纳?。
從簡單的人臉識別、文字語音識別，上升到理解人的行為意圖，像人一樣懂得察言觀色，以人類復(fù)雜性作為參考的人工智能與人類的差距之一，就是多模態(tài)信息的智能化理解。
如果說，人工智能的終極目的是讓AI基于對環(huán)境的感知采取合理行動，從而幫助人類獲得最大收益；那么，在更多復(fù)雜場景對 AI 技術(shù)的應(yīng)用效果提出更高要求的當(dāng)下，多模態(tài)儼然成為 AI 產(chǎn)業(yè)突圍的重點方向。
多模態(tài)并非新概念，早在2018年，“多模態(tài)”作為AI未來的一個發(fā)展方向，已開始成為業(yè)界研究的重點。
什么叫“多模態(tài)”？
“模態(tài)”一詞最早是一個生物學(xué)概念，以人類為例，觸覺，聽覺，視覺，嗅覺、味覺，都是一種模態(tài)。從人工智能和計算機(jī)視覺的角度來說，模態(tài)就是感官數(shù)據(jù)。
簡單理解，多模態(tài)AI=多種數(shù)據(jù)類型+多種智能處理算法。
以往單模態(tài)、單任務(wù)的人工智能技術(shù)，局限于 AI 模型與數(shù)據(jù)之間的交互，通過讓AI學(xué)習(xí)互聯(lián)網(wǎng)上的海量文本、圖片等不同模態(tài)的數(shù)據(jù)，尋找其內(nèi)在規(guī)律，但在算力、數(shù)據(jù)資源的限制下，僅依賴互聯(lián)網(wǎng)上數(shù)據(jù)學(xué)習(xí)很大可能會達(dá)到瓶頸。
多模態(tài)AI技術(shù)，為AI能力的提升，提供了一個解法，即讓人工智能自主學(xué)習(xí)并不斷迭代新的知識。
之所以能做到這一點，是因為多模態(tài)AI技術(shù)，是一種交互式的 AI 技術(shù)，突破了以往單一的模型與數(shù)據(jù)的交互，可以實現(xiàn)模型與模型、模型與人類、模型與環(huán)境等多種交互。
舉例來說，現(xiàn)在很火的AIGC，可以通過文本生成圖像甚至視頻，就是多模態(tài)AI的一個典型應(yīng)用。
但多模態(tài)AI的想象力，遠(yuǎn)不止于此。
從技術(shù)的創(chuàng)新上來看，模態(tài)不僅包括最常見的圖像、文本、視頻、音頻數(shù)據(jù)，還包括無線電信息、光電傳感器、壓觸傳感器等更多可能性。
不同模態(tài)都有各自擅長的事情，這些數(shù)據(jù)之間的有效融合，不僅可以實現(xiàn)比單個模態(tài)更好的效果，還可以做到單個模態(tài)無法完成的事情。
多模態(tài)AI的設(shè)計和應(yīng)用體現(xiàn)一個詞：以人為中心。
當(dāng)AI同時處理多個模態(tài)的數(shù)據(jù)時，其感知方式會更貼近人類，從而讓機(jī)器更加全面、準(zhǔn)確地理解人類的真實指令和意圖，比如能夠理解人類交流中細(xì)微差別的系統(tǒng)，具有高度關(guān)懷感和真實感的虛擬助手等，實現(xiàn)的是一種高度自然的人機(jī)交互和協(xié)同。
雖然AI在多模態(tài)方面取得了突破，但這種技術(shù)及其應(yīng)用還不成熟，由多模態(tài)AI帶來的產(chǎn)業(yè)規(guī)模升級，還面臨重重阻礙。
多模態(tài)AI探索的是人類行動和感知背后的關(guān)系，其蘊(yùn)含的想象力與應(yīng)用潛能毋庸置疑。
但圍繞搜索和生成兩項基本任務(wù)，多模態(tài)AI的訓(xùn)練還存在諸多難點，如多模態(tài)數(shù)據(jù)的收集、新的模型和架構(gòu)的搭建、高效的數(shù)據(jù)融合等問題。
首先，多模態(tài)的數(shù)據(jù)收集、對齊和標(biāo)注，復(fù)雜且不易完成。
一方面，優(yōu)質(zhì)的多模態(tài)數(shù)據(jù)規(guī)模還不夠大；另一方面，在具體的業(yè)務(wù)場景中，很難同時滿足所有的模態(tài)數(shù)據(jù)的收集。
共達(dá)地對雷峰網(wǎng)(公眾號：雷峰網(wǎng))表示：“視覺（圖像/視頻）和文本的數(shù)據(jù)可以根據(jù)語義描述來對齊，但需要經(jīng)過精心的標(biāo)注。同樣，其它模態(tài)的對齊也面臨類似的問題，需要考慮如何對齊?！?/p>
其次，不同模態(tài)具有不同的數(shù)據(jù)特性，多模態(tài)AI的訓(xùn)練，需要根據(jù)不同模態(tài)的特性，開發(fā)新的模型和架構(gòu)。
構(gòu)建統(tǒng)一、跨場景、多任務(wù)的多模態(tài)基礎(chǔ)預(yù)訓(xùn)練模型，包含兩個問題：
如何在統(tǒng)一的預(yù)訓(xùn)練模型中，處理視覺 (圖片、視頻、3D 圖像) 三種模態(tài)的輸入, 并將其映射到統(tǒng)一的特征空間的問題。
如何采用統(tǒng)一的模型和訓(xùn)練框架，分別訓(xùn)練文本、圖像、語音的預(yù)訓(xùn)練模型的問題。
此外，開發(fā)能夠大幅降低AI模型訓(xùn)練門檻，簡化部署流程，讓不具備AI專業(yè)知識的人員也能生產(chǎn)算法的平臺也十分重要。
再者，讓不同模態(tài)的數(shù)據(jù)有效融合以指導(dǎo)決策，也并非易事。
大模型中有非常多隱性的知識，對這些知識的優(yōu)化、迭代是一大挑戰(zhàn)。
多模態(tài)AI需要處理的數(shù)據(jù)和參數(shù)十分海量，如何利用并行計算和分布式計算等技術(shù)來提高計算效率，也是多模態(tài)人工智能技術(shù)需要解決的難點之一。
此外，中科搖櫓船認(rèn)為，“如何在多模態(tài)AI的下游任務(wù)中進(jìn)行自監(jiān)督學(xué)習(xí)也是一大難點?！?/p>
也就是說，如何通過構(gòu)建自監(jiān)督的任務(wù)，提高多模態(tài)模型的表征能力，緩解缺少大規(guī)模監(jiān)督數(shù)據(jù)的挑戰(zhàn)。
多模態(tài)AI最終是為了實現(xiàn)高質(zhì)量的內(nèi)容生成，背后需要參數(shù)規(guī)模巨大的模型以及海量數(shù)據(jù)集作為支撐。AIoT場景下，AI應(yīng)用對于端云互動有著更強(qiáng)的需求。
這意味著，在硬件和芯片上，也提出了更高的要求。
硬件方面，由于要匯聚多種數(shù)據(jù)分析，行業(yè)對前端硬件種類和數(shù)量的需求會更大，如視覺、聲音等不同模態(tài)的數(shù)據(jù)，都需要不同的設(shè)備去采集。
芯片方面，相比于單模態(tài)，多模態(tài)需要的是龐大的“人工智能算力網(wǎng)絡(luò)”，單純的語音芯片、視覺芯片等已很難滿足多模態(tài)AI算法的需求。
云天勵飛對雷峰網(wǎng)表示，從支持大規(guī)模并行計算的角度出發(fā)，芯片要能夠同時處理多個任務(wù)和數(shù)據(jù)流，計算效率和本地存儲能力需要進(jìn)一步提升；從支持多模態(tài)AI長時間運(yùn)行的角度出發(fā)，芯片還要能夠維持較低的功耗，如通過提高單芯片計算能力，降低系統(tǒng)的復(fù)雜度和總成本。
目前，transformer是處理多模態(tài)比較常用的技術(shù)，共達(dá)地李思晉也認(rèn)為，“當(dāng)前的芯片，transformer的計算并不高效，如果沒有專用的硬件，或者為transformer定制開發(fā)，其計算效率比其它模型結(jié)構(gòu)可能慢一個數(shù)量級?！?/p>
經(jīng)過模型參數(shù)與數(shù)據(jù)規(guī)模的比拼階段后，搭載在攝像頭、邊緣計算盒子、機(jī)器人等智能設(shè)備中的多模態(tài)AI正走向場景應(yīng)用。
目前已知的是，多模態(tài)AI首先在計算機(jī)視覺和自然語言處理等領(lǐng)域獲得驗證。
OpenAI 的 DALL-E模型，可以從文本描述中生成對應(yīng)圖像；谷歌的多任務(wù)統(tǒng)一模型MUM，可以做到從 75 種不同語言中挖掘上下文信息來提高搜索體驗；英偉達(dá)的GauGAN2 模型，可以根據(jù)簡單的文本輸入生成照片般逼真的圖像。
多模態(tài)大模型時代，AI應(yīng)用也正走向產(chǎn)業(yè)縱深處。
工業(yè)場景中，運(yùn)用多模態(tài)的智能化管理系統(tǒng)，正在走進(jìn)工廠和車間。
以中科搖櫓船的AGV調(diào)度管理系統(tǒng)為例，通過將雷達(dá)圖像處理、視覺圖像處理等圖像處理技術(shù)集成在同一產(chǎn)品中，可以輕松完成車輛、交通、調(diào)度、運(yùn)行、叫料、通信、統(tǒng)計等管理工作。相比于人力，這種智能化的管理，更能滿足當(dāng)下制造業(yè)客戶的柔性定制需求。
在城市治理場景中，多模態(tài)AI技術(shù)可以運(yùn)用在巡檢機(jī)器人上。當(dāng)前的巡檢機(jī)器人可以通過“眼睛”識別占道經(jīng)營、垃圾桶滿溢等問題，并對相關(guān)情況進(jìn)行提醒，但大多沒有“耳朵”。
相關(guān)研究表明，人類獲取的信息中的25%，都是通過聽覺實現(xiàn)的。對于巡檢機(jī)器人來說，沒有耳朵，意味著難以監(jiān)測到環(huán)境中的異常響動。
云天勵飛表示，未來將研發(fā)下一代高效多模信息感知引擎，在原有的視頻結(jié)構(gòu)化技術(shù)基礎(chǔ)上結(jié)合三維場景信息、音頻信息等其他模態(tài)信息，提升傳感器信息流中語義和非語義信息的結(jié)構(gòu)化密度，從而為相關(guān)產(chǎn)品及服務(wù)在更多應(yīng)用場景的落地提供算法技術(shù)支持。
但客觀來看，在視覺和聽覺之外，能夠商業(yè)化落地的多模態(tài)技術(shù)還很少，大多處于研究階段。
多模態(tài)AI之路不好走，高度智能的人機(jī)交互道阻且長，主要表現(xiàn)為：
一、 AI 的理解和執(zhí)行還不夠可控、可信賴、可復(fù)制。
比如，多樣化風(fēng)險和AI偏見風(fēng)險，當(dāng)數(shù)據(jù)不具有廣泛代表性時，算法就會出現(xiàn)偏差，偏差的不斷被放大，（后果）
二、算法開發(fā)成本較高，產(chǎn)品不具性價比，市場和客戶不愿意買單。
多模態(tài)AI的應(yīng)用落地，需要大量專業(yè)的研究人員，包括算法架構(gòu)師或AI開發(fā)者，也包括產(chǎn)業(yè)專家。而這兩類專家關(guān)注點的相對獨(dú)立，又往往進(jìn)一步增加研發(fā)和落地過程中的成本。
此外，多模態(tài)AI的應(yīng)用需要不同類型的數(shù)據(jù)、知識、產(chǎn)品等，其落地需要產(chǎn)業(yè)鏈整體加強(qiáng)協(xié)作和溝通，從核心的AI芯片，到物聯(lián)網(wǎng)硬件，再到軟件算法開發(fā)，時間周期長，需要協(xié)調(diào)各方利益。
三、業(yè)務(wù)場景較少，且業(yè)務(wù)場景的定義還不夠清晰。
多模態(tài)AI產(chǎn)品和方案，需要根據(jù)實際需求針對性開發(fā)，什么場景需要使用哪幾個模態(tài)，以及從成本和收益上來看，是否有商業(yè)價值，都需要進(jìn)行前置考慮。
AI能力想要進(jìn)入實體產(chǎn)業(yè)，尤其是工業(yè)屬性相對較強(qiáng)的產(chǎn)業(yè)，需要從方方面面的復(fù)雜細(xì)節(jié)中進(jìn)入，而答案都掌握在Know-How手中。
“與行業(yè)領(lǐng)域具備know-how的公司進(jìn)行合作，降低場景驗證的成本，是AI公司的機(jī)會點。”李思晉表示。
多模態(tài)技術(shù)是個硬骨頭，更加類人的智能需要AI公司投入大量的研發(fā)；其背后需要的大模型和海量數(shù)據(jù)，同時對產(chǎn)業(yè)鏈上的硬件和芯片廠商提出了更高的要求；業(yè)務(wù)場景的探索尚處迷霧之中；市場的接受度也還不盡人意。
但從好的一面看，無論是最近大火的AIGC，還是在國內(nèi)默默壯大的多模態(tài)人工智能產(chǎn)業(yè)聯(lián)合體，都說明AI將不斷朝著多模態(tài)方向發(fā)展，以更為廣泛的感知能力，進(jìn)一步向產(chǎn)業(yè)落地。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
