1月12日，阿里巴巴、智源研究院、清華大學(xué)等聯(lián)合研究團(tuán)隊(duì)發(fā)布面向認(rèn)知的超大規(guī)模新型預(yù)訓(xùn)練模型“文匯”。該模型不僅能提升AI的理解能力，還可基于常識(shí)實(shí)現(xiàn)AI創(chuàng)作，未來(lái)將應(yīng)用于文本理解、人機(jī)交互、視覺(jué)問(wèn)答等場(chǎng)景。

與傳統(tǒng)AI訓(xùn)練需要人工標(biāo)注數(shù)據(jù)不同，面向認(rèn)知的預(yù)訓(xùn)練語(yǔ)言模型提供了一種全新的學(xué)習(xí)思路，即AI首先自動(dòng)學(xué)習(xí)大量語(yǔ)言文字和圖像數(shù)據(jù)，記憶和理解其中的信息以及人類(lèi)語(yǔ)言表述的規(guī)律后，再進(jìn)一步學(xué)習(xí)專(zhuān)業(yè)領(lǐng)域知識(shí)，從而讓AI同時(shí)掌握常識(shí)和專(zhuān)業(yè)知識(shí)。

此次發(fā)布的“文匯”是目前國(guó)內(nèi)規(guī)模最大的預(yù)訓(xùn)練模型，參數(shù)量級(jí)達(dá)113億，采用阿里自研的統(tǒng)一多種并行策略的高性能分布式框架，使用模型并行、流水并行、數(shù)據(jù)并行訓(xùn)練進(jìn)行分布式訓(xùn)練。“文匯”突破了多模態(tài)理解與多模態(tài)生成兩大難題，可輕松理解文本圖像信息，并能完成創(chuàng)造性任務(wù)。例如，僅需輸入詩(shī)歌題目、朝代以及作者，“文匯”即可自動(dòng)生成仿古詩(shī)詞。目前，“文匯”已支持基于認(rèn)知推理的多種自然語(yǔ)言及跨模態(tài)應(yīng)用任務(wù)，部分應(yīng)用即將上線。

模型可根據(jù)詩(shī)歌題目、朝代以及作者自動(dòng)生成詩(shī)歌

達(dá)摩院2020十大科技趨勢(shì)曾提到：AI已經(jīng)在“聽(tīng)、說(shuō)、看”等感知智能領(lǐng)域達(dá)到或超越了人類(lèi)水準(zhǔn)，但其邏輯推理能力依舊處于初級(jí)階段，多模態(tài)預(yù)訓(xùn)練模型是實(shí)現(xiàn)感知智能向認(rèn)知智能跨越的關(guān)鍵基礎(chǔ)。達(dá)摩院智能計(jì)算實(shí)驗(yàn)室負(fù)責(zé)人周靖人表示，“預(yù)訓(xùn)練語(yǔ)言模型是過(guò)去70多年以來(lái)最具創(chuàng)新的自然語(yǔ)言模型之一，其模型設(shè)計(jì)難度也遠(yuǎn)高于傳統(tǒng)模型，達(dá)摩院研究團(tuán)隊(duì)將持續(xù)攻克算法及系統(tǒng)工程難題，加速人工智能走向認(rèn)知智能。”

作為國(guó)內(nèi)最早投入認(rèn)知智能研究的科技公司之一，阿里巴巴已有30多個(gè)研究成果被國(guó)際頂級(jí)會(huì)議收錄，獲得世界人工智能大會(huì)最高獎(jiǎng)項(xiàng)—SAIL獎(jiǎng)，與清華大學(xué)聯(lián)合獲得國(guó)家科學(xué)技術(shù)進(jìn)步獎(jiǎng)二等獎(jiǎng)，旗下圖神經(jīng)網(wǎng)絡(luò)框架Graph Learn已面向全球開(kāi)源，可減少模型的算力、存儲(chǔ)資源消耗，同時(shí)縮短算法開(kāi)發(fā)上線周期。

雷鋒網(wǎng)雷鋒網(wǎng)

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。