國產(chǎn)大模型時(shí)代，高質(zhì)量、開源、可信數(shù)據(jù)的重要性不言而喻，但它的稀缺性也是 AI 同行有目共睹的。

為了改變這一現(xiàn)狀，OpenDataLab 聯(lián)合大模型語料數(shù)據(jù)聯(lián)盟構(gòu)建了“書生·萬卷”數(shù)據(jù)集，旨在為學(xué)術(shù)界及產(chǎn)業(yè)界提供更符合主流中文價(jià)值對(duì)齊的高質(zhì)量大模型多模態(tài)預(yù)訓(xùn)練語料。雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))了解到，“書生·萬卷” 1.0 版本已經(jīng)于8 月14日正式發(fā)布。

書生·萬卷1.0 是書生·萬卷多模態(tài)語料庫的首個(gè)開源版本，包含文本數(shù)據(jù)集、圖文數(shù)據(jù)集、視頻數(shù)據(jù)集三部分，數(shù)據(jù)總量超過2TB?；诖竽Ｐ蛿?shù)據(jù)聯(lián)盟構(gòu)建的語料庫，上海AI實(shí)驗(yàn)室對(duì)其中部分?jǐn)?shù)據(jù)進(jìn)行細(xì)粒度清洗、去重以及價(jià)值對(duì)齊，形成了書生·萬卷1.0，具備多元融合、精細(xì)處理、價(jià)值對(duì)齊、易用高效等四大特征。

多元融合方面，書生·萬卷1.0包含文本、圖文、視頻等多模態(tài)數(shù)據(jù)，范圍覆蓋科技、文學(xué)、媒體、教育、法律等多個(gè)領(lǐng)域，在訓(xùn)練提升模型知識(shí)含量、邏輯推理和泛化能力方面具有顯著效果。

精細(xì)處理方面，書生·萬卷1.0經(jīng)歷了語言甄別、正文抽取、格式標(biāo)準(zhǔn)化、基于規(guī)則及模型的數(shù)據(jù)過濾與清洗、多尺度去重、數(shù)據(jù)質(zhì)量評(píng)估等精細(xì)化數(shù)據(jù)處理環(huán)節(jié)，因而能更好地適配后續(xù)的模型訓(xùn)練需求。

價(jià)值對(duì)齊方面，研究人員在書生·萬卷1.0的構(gòu)建過程中，著眼于內(nèi)容與中文主流價(jià)值觀的對(duì)齊，通過算法與人工評(píng)估結(jié)合的方式，提升了語料的純凈度。

易用高效方面，研究人員在書生·萬卷1.0采用統(tǒng)一格式，并提供詳細(xì)的字段說明和工具指導(dǎo)，使其兼顧了易用性和效率，可快速應(yīng)用于語言、多模態(tài)等大模型訓(xùn)練。

目前，書生·萬卷1.0已被應(yīng)用于書生·多模態(tài)、書生·浦語大模型的訓(xùn)練。通過對(duì)高質(zhì)量語料的“消化”，書生系列模型在語義理解、知識(shí)問答、視覺理解、視覺問答等各類生成式任務(wù)都表現(xiàn)出不錯(cuò)的性能。

據(jù)了解，書生·萬卷文本數(shù)據(jù)集1.0 由來自網(wǎng)頁、百科、書籍、專利、教材、考題等不同來源的清洗后預(yù)訓(xùn)練語料組成，數(shù)據(jù)總量超過5億個(gè)文檔，數(shù)據(jù)大小超過1TB。該語料將html、text、pdf、epub等多種格式的數(shù)據(jù)統(tǒng)一處理為字段統(tǒng)一的jsonl格式，并經(jīng)過細(xì)粒度的清洗、去重、價(jià)值對(duì)齊，從而形成一份安全可信、高質(zhì)量的預(yù)訓(xùn)練語料。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。