自然語(yǔ)言處理是人工智能皇冠上的明珠，近日，度小滿金融AI-Lab讓人類(lèi)摘得明珠的步伐又前進(jìn)了一步。據(jù)中文語(yǔ)言理解領(lǐng)域的權(quán)威測(cè)評(píng)基準(zhǔn)官網(wǎng)公布，度小滿金融AI-Lab研發(fā)的軒轅(XuanYuan)預(yù)訓(xùn)練模型在CLUE1.1分類(lèi)任務(wù)中“力壓群雄”獲得了排名第一的好成績(jī)。距離人類(lèi)“表現(xiàn)”僅差3.38分！

CLUE是中文語(yǔ)言理解領(lǐng)域最具權(quán)威性的測(cè)評(píng)基準(zhǔn)之一，涵蓋了文本相似度、分類(lèi)、閱讀理解共10項(xiàng)語(yǔ)義分析和理解類(lèi)子任務(wù)。其中，分類(lèi)任務(wù)需要解決6個(gè)問(wèn)題，例如傳統(tǒng)圖像分類(lèi)，文本匹配，關(guān)鍵詞分類(lèi)等等，能夠全方面衡量模型性能。該榜單競(jìng)爭(zhēng)激烈，幾乎是業(yè)內(nèi)兵家必爭(zhēng)之地，例如快手搜索、優(yōu)圖實(shí)驗(yàn)室 & 騰訊云等等研究機(jī)構(gòu)也都提交了比賽方案。

據(jù)悉，位居榜首的“軒轅”是基于Transformer架構(gòu)的預(yù)訓(xùn)練語(yǔ)言模型，涵蓋了金融、新聞、百科、網(wǎng)頁(yè)等多領(lǐng)域大規(guī)模數(shù)據(jù)。因此，該模型“內(nèi)含”的數(shù)據(jù)更全面，更豐富，面向的領(lǐng)域更加廣泛。

 

傳統(tǒng)預(yù)訓(xùn)練模型采取“訓(xùn)練-反饋”模式，度小滿金融AI-Lab在訓(xùn)練“軒轅”的時(shí)候細(xì)化了這一過(guò)程，引入了任務(wù)相關(guān)的數(shù)據(jù)，融合不同粒度不同層級(jí)的交互信息，從而改進(jìn)了傳統(tǒng)訓(xùn)練模式。

模型設(shè)計(jì)思路有兩點(diǎn)：

1.宏觀角度，先從通用大規(guī)模的數(shù)據(jù)逐漸遷移到小規(guī)模的特定業(yè)務(wù)以及特定任務(wù)，然后去通過(guò)不同的階段逐漸訓(xùn)練，直到滿足目標(biāo)任務(wù)。

2.微觀角度，針對(duì)不同的下游分類(lèi)任務(wù)，會(huì)相應(yīng)的設(shè)計(jì)出定制化的分類(lèi)模型。然后采用自監(jiān)督學(xué)習(xí)、遷移學(xué)習(xí)等等提升模型的性能。

目前，“軒轅”還處于1.0的版本，更側(cè)重于自然語(yǔ)言理解能力，在接下來(lái)的2.0版本中，研發(fā)人員會(huì)采用更大規(guī)模的數(shù)據(jù)，訓(xùn)練出更加通用的預(yù)訓(xùn)練模型，從而賦能更多的業(yè)務(wù)和領(lǐng)域。

 

度小滿為何“看中”預(yù)訓(xùn)練模型？

預(yù)訓(xùn)練模型是一種遷移學(xué)習(xí)的應(yīng)用，可以利用幾乎無(wú)限的文本，學(xué)習(xí)輸入句子的每一個(gè)成員的上下文相關(guān)的表示，它隱式地學(xué)習(xí)到了通用的語(yǔ)法語(yǔ)義知識(shí)。

換句話說(shuō)，預(yù)訓(xùn)練模型把通用人類(lèi)的語(yǔ)言知識(shí)先學(xué)會(huì)，然后再代入到某個(gè)具體任務(wù)。它可以將從開(kāi)放領(lǐng)域?qū)W到的知識(shí)遷移到下游任務(wù)，以改善低資源任務(wù)；還可以使自然語(yǔ)言處理由原來(lái)的手工調(diào)參、依靠 ML 專(zhuān)家的階段，進(jìn)入到可以大規(guī)模、可復(fù)制的大工業(yè)施展的階段。

不止是融合人類(lèi)知識(shí)，預(yù)訓(xùn)練模型的“改善”、“大規(guī)模”、“可復(fù)制”等關(guān)鍵詞背后意味著降成本、提效率。這和度小滿金融CEO朱光““用科技服務(wù)小微企業(yè)是金融科技公司的價(jià)值和使命”的理念不謀而合。

今年5月21日，在度小滿金融成立三周年之際，度小滿金融CEO朱光表示，“未來(lái)三年，度小滿將繼續(xù)加大人工智能技術(shù)的研發(fā)投入，聚焦小微客戶，持續(xù)降低小微企業(yè)主的整體融資成本，為3000萬(wàn)小微企業(yè)主提供值得信賴的綜合金融服務(wù)?！?/p>

目前，除了預(yù)訓(xùn)練，度小滿金融AI-Lab在文本分類(lèi)、信息抽取和技術(shù)資源等方向亦有布局。在戰(zhàn)略上會(huì)有兩點(diǎn)側(cè)重：首先加強(qiáng)自身的數(shù)據(jù)生態(tài)建設(shè)，合法合規(guī)使用用戶數(shù)據(jù)，解決數(shù)據(jù)孤島；其次通過(guò)產(chǎn)學(xué)研相結(jié)合，布局前沿技術(shù)，落地金融場(chǎng)景業(yè)務(wù)。目前，度小滿與北京大學(xué)光華管理學(xué)院成立了“金融科技聯(lián)合實(shí)驗(yàn)室”，和西安交大成立了“西安交通大學(xué)-度小滿金融人工智能聯(lián)合研究中心”，并與中國(guó)科學(xué)院自動(dòng)化研究所共建博士后工作站，共同開(kāi)展人工智能及相關(guān)領(lǐng)域的博士后聯(lián)合招收培養(yǎng)。

度小滿研發(fā)人員一直相信人工智能技術(shù)勢(shì)必會(huì)變革金融領(lǐng)域的已有研究范式。因此，連接理論前沿研究與業(yè)界的技術(shù)應(yīng)用研究，推動(dòng)人工智能技術(shù)在金融產(chǎn)業(yè)中發(fā)揮更大價(jià)值，會(huì)是度小滿一直的追求。

雷峰網(wǎng)雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))雷峰網(wǎng)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。