2021年是大規(guī)模預訓練模型的爆發(fā)之年，掀起了人工智能又一波熱潮，并迅速成為AI領域的技術(shù)新高地，助推人工智能從1.0的感知智能向2.0的認知智能轉(zhuǎn)變。
自從2012年深度學習的應用元年以來，人臉識別、語音識別等技術(shù)通過機器學習實現(xiàn)了大量應用場景突破，不僅提升了社會工作效率，同時改變了人們的生活出行模式，建立了人類對人工智能技術(shù)的基礎認知。但是經(jīng)過多年的應用實踐，傳統(tǒng)人工智能基于特定場景、特定內(nèi)容、特定需求的適配模式也暴露出很多短板，尤其在泛場景應用、小樣本及復雜場景上，只能達到“有多少人工，就有多少智能”的基礎感知，識別準確度差，泛化能力低。要實現(xiàn)人工智能的真正落地，必須讓機器具備通識知識的自學習能力，以及對業(yè)務的邏輯判斷能力，建立機器綜合認知體系。工欲善其事必先利其器，預訓練技術(shù)讓深度神經(jīng)網(wǎng)絡模型可以對大規(guī)模無標注數(shù)據(jù)進行自監(jiān)督學習，使超大規(guī)模模型的建立成為可能。自從2018年Google推出BERT以來，Open AI、Google、Facebook、Microsoft、英偉達、智源研究院、阿里達摩院、華為、百度等研發(fā)機構(gòu)和企業(yè)紛紛進行大規(guī)模預訓練模型布局，掀起了一輪拼參數(shù)、拼算力的AI軍備競賽。雖然這輪競賽參數(shù)規(guī)模呈指數(shù)級增長，但技術(shù)應用各有側(cè)重。于是2021年8月，基于各類大模型的特性和未來發(fā)展前景，斯坦福大學的Percy Liang、李飛飛等100多位學者聯(lián)名發(fā)表了一份 200 多頁的重磅研究綜述《On the Opportunities and Risk of Foundation Models》，將大規(guī)模預訓練模型統(tǒng)一命名為基礎模型（Foundation Models)，并從基礎模型的能力、應用領域、技術(shù)層面和社會影響等四個方面闡述了基礎模型面臨的機遇和挑戰(zhàn)，奠定了大規(guī)模預訓練模型的理論基礎，也正式標志著人工智能2.0序幕的正式拉開。在新一輪大規(guī)模預訓練模型的商業(yè)化熱潮中，近期，由深投控領投，融創(chuàng)投資等共同參與的聯(lián)匯科技D輪融資，使這家從事大規(guī)模預訓練模型研發(fā)的新型AI公司浮出水面。不同于大量的AI新創(chuàng)企業(yè)，聯(lián)匯科技擁有十多年的行業(yè)積累，以及對音視圖文處理分析技術(shù)的豐富應用經(jīng)驗，正如一只等風來的候鳥，積極打造針對視覺語言的多模態(tài)預訓練大模型，努力改變視覺分析和多模態(tài)分析領域的人工智能技術(shù)實現(xiàn)方式。

從語言模型到視覺語言模型

聯(lián)匯科技的首席科學家趙天成博士是一位世界級的AI青年科學家，畢業(yè)于全球計算機領域頂級院?！突仿〈髮W，獲得計算機博士學位，在多模態(tài)機器學習和自然語言處理領域?qū)賴H青年創(chuàng)新型人才，是端到端人機交互理論的開創(chuàng)者，受到Google、微軟、亞馬遜等同行頂級專家的高度評價，曾多次擔任國際頂尖會議和期刊的審稿人和區(qū)域主席，在國際頂級會議和期刊上發(fā)表論文30余篇，多次獲得最佳論文獎，并且2018年獲得微軟研究院Best & Brightest PhD榮譽。
趙天成博士一直以來專注于提高機器認知能力的研究，讓機器可以理解更多模態(tài)的數(shù)據(jù)類型，能像人腦一樣用更少的數(shù)據(jù)樣本自主學習和理解更加復雜的知識?；谠诳▋?nèi)基梅隆大學的長期研究，趙天成博士帶領團隊創(chuàng)建了擁有自主知識產(chǎn)權(quán)的視覺語言大規(guī)模預訓練模型OmModel。不同于國內(nèi)大部分研發(fā)機構(gòu)和企業(yè)聚焦在較為成熟的大規(guī)模語言模型，聯(lián)匯科技聚焦在更為前沿的視覺語言大模型賽道。所謂視覺語言模型，也就是通過一個預訓練模型同時理解自然語言和視覺信息，并且可以構(gòu)建他們之間的關系。因此相較于只能解決NLP問題的語言模型，視覺語言模型的應用面更廣、可以解決更加復雜的實際問題，通過聯(lián)系視覺和語言這兩大重要的模態(tài)信息，讓人工智能真正擁有認知能力。目前聯(lián)匯科技的OmModel已經(jīng)完成了基于超過數(shù)十億字符、近十億圖片和視頻數(shù)據(jù)的大規(guī)模預訓練，同時在包括目標檢測、行為識別、跨模態(tài)檢索等多項重要任務上展現(xiàn)出超強的零樣本泛化能力和小樣本學習能力。

打造產(chǎn)業(yè)落地的行業(yè)大模型

此外，回歸商業(yè)本質(zhì)，強調(diào)核心技術(shù)的商業(yè)化落地也是聯(lián)匯科技的一大特色?！拔覀兊哪繕耸谴蛟煨袠I(yè)大模型系統(tǒng)，讓預訓練大模型真正實現(xiàn)產(chǎn)業(yè)化落地，變成對客戶有價值的產(chǎn)品，而不是單純地追求模型的參數(shù)量?！壁w天成博士表示。
目前，聯(lián)匯科技正在基于OmModel從底層構(gòu)建全新的基于預訓練大模型的人工智能操作系統(tǒng)（Om OS）和模型算法工廠（Om Studio），提供一站式AI視覺應用服務。Om Studio讓用戶可以在沒有訓練數(shù)據(jù)或者極少訓練數(shù)據(jù)的前提下，利用大模型的超強通識能力，在幾個小時內(nèi)完成AI視覺算法適配，實現(xiàn)AI業(yè)務應用零門檻上手，服務千行百業(yè)的視覺場景應用。針對少量特定需求任務，OmModel只需較少樣本的標注數(shù)據(jù)進行微調(diào)即可實現(xiàn)應用適配。改變了傳統(tǒng)人工智能需要大量高級工程師和海量標注數(shù)據(jù)的困境，大幅度降低了人工智能應用構(gòu)建的門檻，同時提高了響應效率，實現(xiàn)人工智能2.0向大量長尾泛需求的擴展。而Om OS是大模型的運行和操作系統(tǒng)，讓用戶可結(jié)合語義進行基礎的邏輯判斷，實現(xiàn)業(yè)務知識和AI模型的有效結(jié)合，真正解決需求方的痛點。比如針對車站等復雜場景戴口罩場景的識別判斷，不僅可以判斷是否戴口罩，還可以判斷出口罩佩戴是否規(guī)范、排除兒童未戴口罩、排除在飲用食物未戴口罩等行為，而這一切不需要依賴樣本數(shù)據(jù)訓練，只需要通過簡單語義定義即可。通過這一系列的創(chuàng)新技術(shù)應用，使得OmModel視覺語言大規(guī)模預訓練模型在自主學習能力、響應能力、認知識別能力上得到了質(zhì)的提升。目前聯(lián)匯科技的Om OS和Om Studio兩大產(chǎn)品已經(jīng)實現(xiàn)基于多模態(tài)數(shù)據(jù)文件的數(shù)字資產(chǎn)管理、知識圖譜分析等應用，以及基于監(jiān)控攝像機信號的美麗鄉(xiāng)村、智慧城管、數(shù)字防疫、智慧門店、明廚亮灶數(shù)十個場景的應用落地。并率先在國內(nèi)開啟人工智能從感知智能向認知智能轉(zhuǎn)變的2.0迭代升級，打破了傳統(tǒng)人工智能對樣本數(shù)據(jù)的依賴，實現(xiàn)僅用10%的標注數(shù)據(jù)快速解決傳統(tǒng)算法廠商無法應對的80%的長尾應用場景，極大地降低了人工智能的落地應用門檻，有利于快速、低成本地普及視覺認知技術(shù)在各行業(yè)的應用，為百行千業(yè)的數(shù)字化改革提供技術(shù)賦能。聯(lián)匯科技通過大規(guī)模預訓練模型在人工智能業(yè)務應用上的實踐，證明人工智能從感知智能向認知智能轉(zhuǎn)變的可能，大規(guī)模預訓練模型勢必帶來人工智能技術(shù)的二次碰撞。碰撞即是融合，歷史的車輪總是在碰撞中前進，人工智能技術(shù)前進的車輪亦是如此，人類暢想未來的步伐未曾停步。

雷峰網(wǎng)(公眾號：雷峰網(wǎng))

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。