3月14日，商湯科技發(fā)布多模態(tài)多任務(wù)通用大模型“書(shū)生（INTERN）2.5”，在多模態(tài)多任務(wù)處理能力方面實(shí)現(xiàn)多項(xiàng)全新突破，其卓越的圖文跨模態(tài)開(kāi)放任務(wù)處理能力可為自動(dòng)駕駛、機(jī)器人等通用場(chǎng)景任務(wù)提供高效精準(zhǔn)的感知和理解能力支持，向通用人工智能邁出堅(jiān)實(shí)的一步?！皶?shū)生（INTERN）”最初版本由商湯科技、上海人工智能實(shí)驗(yàn)室、清華大學(xué)、香港中文大學(xué)、上海交通大學(xué)在2021年11月首次共同發(fā)布，并持續(xù)聯(lián)合研發(fā)。

“書(shū)生2.5”擁有30億參數(shù)，不僅是世界上開(kāi)源模型中ImageNet準(zhǔn)確度最高、規(guī)模最大的模型，也是物體檢測(cè)標(biāo)桿數(shù)據(jù)集COCO中唯一超過(guò)65.0 mAP的模型。目前，“書(shū)生2.5”多模態(tài)通用大模型已在通用視覺(jué)開(kāi)源平臺(tái)OpenGVLab開(kāi)源（https://github.com/OpenGVLab/InternImage），為學(xué)術(shù)界和產(chǎn)業(yè)界的多模態(tài)通用模型研發(fā)提供有力支撐。

當(dāng)前，人工智能技術(shù)的發(fā)展正面臨著大量跨模態(tài)任務(wù)的挑戰(zhàn)，為滿足快速增長(zhǎng)的各式應(yīng)用場(chǎng)景需求，發(fā)展更為通用的人工智能模型已成為科技前沿的核心焦點(diǎn)問(wèn)題。此次全新發(fā)布的“書(shū)生2.5”致力于多模態(tài)多任務(wù)通用模型的構(gòu)建，可接收處理各種不同模態(tài)的輸入，并采用統(tǒng)一的模型架構(gòu)和參數(shù)處理各種不同的任務(wù)，促進(jìn)不同模態(tài)和任務(wù)之間在表示學(xué)習(xí)方面的協(xié)作，逐步實(shí)現(xiàn)通用人工智能領(lǐng)域的融會(huì)貫通。

邁向AGI通用人工智能，大幅提升通用場(chǎng)景感知和理解能力

在當(dāng)今快速增長(zhǎng)的各式應(yīng)用場(chǎng)景需求下，傳統(tǒng)計(jì)算機(jī)視覺(jué)已無(wú)法處理真實(shí)世界中數(shù)不勝數(shù)的特定任務(wù)和場(chǎng)景需求。我們迫切需要一種具備通用場(chǎng)景感知和復(fù)雜問(wèn)題處理能力的高級(jí)視覺(jué)系統(tǒng)。

“書(shū)生2.5”實(shí)現(xiàn)了通過(guò)文本來(lái)定義任務(wù)，從而可以靈活地定義不同場(chǎng)景的任務(wù)需求，并根據(jù)給定視覺(jué)圖像和任務(wù)的提示性語(yǔ)句，給出相應(yīng)的指令或作答，進(jìn)而具備通用場(chǎng)景下的高級(jí)感知和復(fù)雜問(wèn)題處理能力，比如圖像描述、視覺(jué)問(wèn)答、視覺(jué)推理和文字識(shí)別等。

在自動(dòng)駕駛和居家機(jī)器人等通用場(chǎng)景下，“書(shū)生2.5”可輔助處理各種復(fù)雜任務(wù)。例如在自動(dòng)駕駛場(chǎng)景下，可以大幅提升場(chǎng)景感知理解能力，準(zhǔn)確地輔助車(chē)輛判斷交通信號(hào)燈狀態(tài)、道路標(biāo)志牌等信息，為車(chē)輛的決策規(guī)劃提供有效信息輸入。

利用多模態(tài)多任務(wù)通用大模型輔助完成自動(dòng)駕駛場(chǎng)景中各類復(fù)雜任務(wù)

利用多模態(tài)多任務(wù)通用大模型輔助完成居家機(jī)器人場(chǎng)景中各類復(fù)雜任務(wù)

除了解決例如自動(dòng)駕駛和居家機(jī)器人這類復(fù)雜問(wèn)題的能力，“書(shū)生2.5”通用大模型也可以解決紛繁復(fù)雜的日常生活中的常見(jiàn)任務(wù)，滿足各種需求。

除了全圖級(jí)別的以圖生文，“書(shū)生2.5”通用大模型同樣可以根據(jù)物體邊框更精細(xì)化定位任務(wù)需求。

“書(shū)生2.5”同時(shí)具備AIGC“以文生圖”的能力，可根據(jù)用戶提出的文本創(chuàng)作需求，利用擴(kuò)散模型生成算法，生成高質(zhì)量、自然的寫(xiě)實(shí)圖像。例如借助“書(shū)生2.5”的以文生圖能力幫助自動(dòng)駕駛技術(shù)研發(fā)，通過(guò)生成各類真實(shí)的道路交通場(chǎng)景，如繁忙的城市街道、雨天擁擠的車(chē)道、馬路上奔跑的狗等，生成寫(xiě)實(shí)的Corner Case訓(xùn)練數(shù)據(jù)，進(jìn)而訓(xùn)練自動(dòng)駕駛系統(tǒng)對(duì)Corner Case場(chǎng)景的感知能力上限。

“書(shū)生2.5”還可根據(jù)文本快速檢索出視覺(jué)內(nèi)容。例如，可在相冊(cè)中返回文本所指定的相關(guān)圖像，或是在視頻中，檢索出與文本描述最相關(guān)的幀，提高視頻中時(shí)間定位任務(wù)的效率。此外還支持引入物體檢測(cè)框，根據(jù)文本返回最相關(guān)的物體，可實(shí)現(xiàn)開(kāi)放世界視頻或圖像中物體檢測(cè)及視覺(jué)定位。

三位一體，高效能打通自然語(yǔ)言、圖像等多模態(tài)任務(wù)處理

“書(shū)生2.5”在圖文跨模態(tài)領(lǐng)域卓越的性能表現(xiàn)來(lái)自于視覺(jué)、語(yǔ)言及多任務(wù)建模三大模型能力的有效融合，即InternImage-G通用視覺(jué)大模型、用于文本理解的超大語(yǔ)言預(yù)訓(xùn)練模型（LLM）和用于多任務(wù)的兼容解碼建模大模型（Uni-Perceiver）。

其中，InternImage-G通用視覺(jué)大模型能夠基于動(dòng)態(tài)稀疏卷積算子自適應(yīng)地調(diào)整卷積的位置和組合方式，從而為多功能視覺(jué)感知提供強(qiáng)大的表示。超大語(yǔ)言模型通過(guò)在超大規(guī)模豐富文本語(yǔ)料庫(kù)上進(jìn)行預(yù)訓(xùn)練提供強(qiáng)大可靠的文本特征。Uni-Perceiver通才任務(wù)解碼建模通過(guò)將不同模態(tài)的數(shù)據(jù)編碼到統(tǒng)一的表示空間，將不同任務(wù)統(tǒng)一為相同的任務(wù)范式，從而能夠以相同的架構(gòu)和共享的模型參數(shù)同時(shí)處理各種模態(tài)和任務(wù)。此外，“書(shū)生2.5”還創(chuàng)新性地引入了任務(wù)級(jí)別的稀疏激活機(jī)制，使其具備高效的多任務(wù)協(xié)作能力。

在視覺(jué)主流圖像分類數(shù)據(jù)集ImageNet上，該模型僅基于公開(kāi)數(shù)據(jù)便達(dá)到了90.1%的Top-1準(zhǔn)確率。這是除谷歌與微軟之外，唯一準(zhǔn)確率超過(guò)90.0%的模型，值得一提的是，谷歌與微軟均未公開(kāi)模型及額外數(shù)據(jù)集?！皶?shū)生2.5”同時(shí)也是世界上開(kāi)源模型中ImageNet準(zhǔn)確度最高、規(guī)模最大的模型。

除了高精確度的語(yǔ)義理解能力外，“書(shū)生2.5”在目標(biāo)定位性能上同樣有著出色的表現(xiàn)。在物體檢測(cè)標(biāo)桿數(shù)據(jù)集COCO上，其取得了65.4的mAP，是世界上唯一超過(guò)65.0 mAP的模型?！皶?shū)生2.5”也在包括圖像分類、物體檢測(cè)、語(yǔ)義分割、圖像描述、圖文檢索等20+個(gè)不同場(chǎng)景、不同任務(wù)的單模態(tài)和跨模態(tài)公開(kāi)數(shù)據(jù)集中都取得了最佳成績(jī)。

在20余個(gè)不同場(chǎng)景、不同任務(wù)的單模態(tài)和跨模態(tài)公開(kāi)數(shù)據(jù)集中都取得了最佳成績(jī)

開(kāi)源模型社區(qū)性能最強(qiáng)多模態(tài)大模型，加速學(xué)術(shù)和產(chǎn)業(yè)界多模態(tài)通用模型研發(fā)

即日起，“書(shū)生2.5”多模態(tài)通用大模型已在通用視覺(jué)開(kāi)源平臺(tái)OpenGVLab開(kāi)源，成為目前開(kāi)源模型社區(qū)能提供的性能最強(qiáng)的多模態(tài)大模型。

OpenGVLab致力于通用視覺(jué)模型的開(kāi)源社區(qū)建設(shè)，開(kāi)源項(xiàng)目覆蓋數(shù)據(jù)、模型、評(píng)測(cè)基準(zhǔn)全鏈路，為學(xué)術(shù)界和產(chǎn)業(yè)界的多模態(tài)通用模型研發(fā)提供了堅(jiān)實(shí)的支撐。在數(shù)據(jù)方面，OpenGVLab構(gòu)建了千萬(wàn)級(jí)超大規(guī)模精標(biāo)注數(shù)據(jù)集，涵蓋了圖像分類、目標(biāo)檢測(cè)等視覺(jué)核心任務(wù)的標(biāo)注，同時(shí)包括各類圖像中的屬性、狀態(tài)等的精細(xì)標(biāo)注，顯著降低了數(shù)據(jù)的采集成本。在模型方面，OpenGVLab的開(kāi)源項(xiàng)目全方位覆蓋了通用模型架構(gòu)、高效訓(xùn)練框架及超高性能的預(yù)訓(xùn)練模型，助力社區(qū)用極低的數(shù)據(jù)量快速滿足多場(chǎng)景、多任務(wù)、高性能的AI模型訓(xùn)練，并供所有對(duì)人工智能技術(shù)感興趣的人士自由體驗(yàn)。

OpenGVLab還提供了多任務(wù)、多模態(tài)的通用視覺(jué)評(píng)測(cè)基準(zhǔn)，可以提供權(quán)威的評(píng)測(cè)結(jié)果，推動(dòng)基于統(tǒng)一標(biāo)準(zhǔn)的公平和準(zhǔn)確評(píng)測(cè)，加快通用視覺(jué)模型的產(chǎn)業(yè)化應(yīng)用步伐。通過(guò)開(kāi)源社區(qū)的建設(shè)，OpenGVLab幫助開(kāi)發(fā)者顯著降低通用視覺(jué)模型的開(kāi)發(fā)門(mén)檻，用更低成本快速開(kāi)發(fā)用于成百上千種視覺(jué)任務(wù)、視覺(jué)場(chǎng)景的算法模型，高效實(shí)現(xiàn)對(duì)長(zhǎng)尾場(chǎng)景的覆蓋，推動(dòng)通用AI技術(shù)的規(guī)?；瘧?yīng)用。

當(dāng)前，“書(shū)生”還在持續(xù)學(xué)習(xí)、不斷進(jìn)步，致力于實(shí)現(xiàn)多模態(tài)多任務(wù)通用模型技術(shù)的突破，驅(qū)動(dòng)通用人工智能技術(shù)的創(chuàng)新應(yīng)用生態(tài)，為推動(dòng)人工智能學(xué)術(shù)、產(chǎn)業(yè)發(fā)展做出貢獻(xiàn)。

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。