大模型在四五月份迎來“百家爭鳴”，戰(zhàn)況愈加激烈，有新玩家仍在陸續(xù)進場。

AI 科技評論獲悉：近日，一家多模態(tài)大模型初創(chuàng)公司“智子引擎”完成了千萬元天使輪融資。據(jù)了解，“智子引擎”的 CEO 是 90 后青年高一釗。高一釗是人大博士生，師從盧志武，盧志武在“智子引擎”公司中擔任顧問一職。此外，盧志武擔任軟通動力首席 AI 科學家。

在 ChatGPT 火起來之前，北京智源人工智能研究院曾率先開拓中國大模型研究，名為“悟道”，當時聚集了四支主要力量，分別由清華唐杰、清華劉知遠、清華黃民烈與人大文繼榮領頭。

其中，人大文繼榮主要帶領人大高瓴人工智能學院的科學家們開拓多模態(tài)大模型方向，名為“文瀾”，盧志武便在團隊中擔任模型主力軍，他的學生高一釗也參與進來，完成了核心的研究工作?！拔虻馈敝螅平?、劉知遠與黃民烈均基于大模型技術成立了公司，而人大的入局，為智源大模型“四大金剛”的創(chuàng)業(yè)陣容拉開了完滿的序幕。

據(jù) AI 科技評論了解，盧志武團隊也是國內(nèi)最早研究多模態(tài)大模型、并取得杰出技術成果的團隊。

盧志武和高一釗二人

盧志武和高一釗從事多模態(tài)大模型始于 2020 年。

2020 年 5 月，由 OpenAI 研發(fā)的 GPT-3 在人工智能領域掀起了一陣巨浪，引發(fā)了國內(nèi)從業(yè)者對預訓練大模型的關注，其中就包括了盧志武等人。

盧志武早年就讀于北京大學數(shù)學科學學院信息科學系，碩士畢業(yè)后，于 2011 年在香港城市大學計算機系取得博士學位，他主要的研究方向包括機器學習、計算機視覺等。

盧志武

當時，國內(nèi)大部分人的注意力都聚焦在 NLP 領域，但有關從文字擴展到圖像、視頻的多模態(tài)大模型鮮少有人關注。

期間，中國人民大學高瓴人工智能學組建了多模態(tài)大模型研發(fā)團隊，專門從事圖文多模態(tài)預訓練模型的研究和開發(fā)，由文繼榮牽頭，其他核心成員包括宋睿華、盧志武等人，這也是國內(nèi)最早從事多模態(tài)大模型研究的團隊。

高一釗在同年進入中國人民大學高瓴人工智能學院攻讀博士、師從盧志武。

高一釗

“智子引擎”將推出多模態(tài)大模型

事實上，早在 ChatGPT 橫空出世的三年前，北京智源人工智能研究院已率先開始中國大模型研究，名為“悟道”，其中由文繼榮主要帶領的人大高瓴人工智能學院科學家組成“悟道·文瀾”團隊，從事多模態(tài)大模型方向研究，盧志武任模型研發(fā)主力軍。

2021 年 3 月，基于對 3000 萬圖文數(shù)據(jù)集的預訓練，第一代“文瀾”——圖文檢索模型 BriVL 正式問世，這是一個超大規(guī)模的多模態(tài)預訓練模型，采用了雙塔結構可分別對圖像和文本進行編碼，通過自監(jiān)督任務來學習圖像和文本之間的相似度。

以圖文檢索模型為基礎，研究團隊還開發(fā)了 H5 小應用“AI心情電臺”，只需要向 AI 精靈提供一張圖片，模型即可為該圖片匹配一段合適的音樂。

隨即三個月后，盧志武所在的文瀾團隊又發(fā)布了“文瀾 2.0”（BriVL-2）。基于視覺-語言弱相關的假設，研究團隊提出圖文弱相關假設，設計了高效的跨模態(tài)對比學習策略，同時提出了基于DeepSpeed的分布式多模態(tài)訓練框架，從而提高模型的表達能力和泛化能力。

基于 6.5 億弱相關的圖文數(shù)據(jù)集的預訓練，文瀾 2.0 擁有的模型容量達到50億參數(shù)，是目前最大的中文通用圖文預訓練模型，可覆蓋多個領域和場景，在多個圖文檢索和生成任務上都取得了優(yōu)異的性能，比如圖像檢索、圖像描述、視覺問答等。

期間，高一釗也深度參與了文瀾 1.0 和 2.0 的圖文預訓練工作，主要負責數(shù)據(jù)處理、模型訓練和評估等。

在 ChatGPT 的熱浪下，盧志武和高一釗看到了多模態(tài)研究在大模型時代的新機遇，成立多模態(tài)大模型公司“智子引擎”。借鑒以往參與文瀾模型研發(fā)的經(jīng)驗，“智子引擎”團隊于今年的 3 月 8 日正式推出了自主研發(fā)的多模態(tài)對話大模型，并發(fā)布了第一款應用級多模態(tài) ChatGPT 產(chǎn)品“元乘象 ChatImg”。

“元乘象 ChatImg”的參數(shù)量在百億級別，主要使用了圖文對數(shù)據(jù)和 VQA 數(shù)據(jù)作為訓練集，同時進行圖文匹配、圖文檢索、圖像描述生成、文本描述生成等多種任務的訓練。根據(jù)用戶輸入的圖片或文字，“元乘象 ChatImg”可以進行智能聊天、講故事、寫廣告等。

自四五月份以來，陸續(xù)亮相的大模型引起一片喧囂沸騰，大廠刀光劍影，創(chuàng)業(yè)公司也不遑多讓。學術界下場入局大模型是個大趨勢，如何能在靠近工程化的較量中找到自己的競爭力和位置，亟待從與時間的賽跑中找答案。

（雷峰網(wǎng)(公眾號：雷峰網(wǎng))雷峰網(wǎng)）

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。