0
| 本文作者： 貝爽 | 2021-06-01 20:16 |
新一代人工智能已經(jīng)邁向“煉大模型”的時(shí)代。這一切源于GPT-3的橫空出世，這個(gè)具有1750億的參數(shù)的通用預(yù)訓(xùn)練模型不僅帶來(lái)了超乎想象的生成能力，更讓人們看到了“超大模型”實(shí)現(xiàn)通用人工智能的潛力。
2021年1月，距離GPT-3問(wèn)世不足一年，Google重磅推出Switch Transformer模型，將參數(shù)量提升到1.6萬(wàn)億，成為人類歷史上首個(gè)萬(wàn)億級(jí)語(yǔ)言模型。然而，人們對(duì)預(yù)訓(xùn)練語(yǔ)言模型的想象遠(yuǎn)不止如此，隨著算力的提升，大數(shù)據(jù)的涌現(xiàn)，越來(lái)越多學(xué)術(shù)機(jī)構(gòu)和企業(yè)加入”煉大模型“的行列，在這場(chǎng)激烈的軍備賽中，誰(shuí)將成為下一位贏家？
6月1日，2021北京智源大會(huì)在中關(guān)村國(guó)家自主創(chuàng)新示范區(qū)會(huì)議中心如期拉開(kāi)大幕，開(kāi)幕式上，清華大學(xué)教授，智源研究院學(xué)術(shù)副院長(zhǎng)唐杰重磅發(fā)布了超大規(guī)模智能模型“悟道2.0”。
經(jīng)過(guò)近三個(gè)月的技術(shù)迭代，悟道2.0參數(shù)量達(dá)到1.75萬(wàn)億，創(chuàng)下全球最大預(yù)訓(xùn)練語(yǔ)言模型記錄。
唐杰教授表示，“悟道”超大模型智能模型旨在打造數(shù)據(jù)和知識(shí)雙輪驅(qū)動(dòng)的認(rèn)知智能，讓機(jī)器能夠像人一樣思考，實(shí)現(xiàn)超越圖靈測(cè)試的機(jī)器認(rèn)知能力。
“悟道”由智源研究院學(xué)術(shù)副院長(zhǎng)、清華大學(xué)唐杰教授領(lǐng)銜，帶領(lǐng)來(lái)自北大、清華、人大、中科院等高校院所，以及阿里等諸多企業(yè)的100余位AI專家共同研發(fā)，是國(guó)內(nèi)首個(gè)超大預(yù)訓(xùn)練語(yǔ)言模型系統(tǒng)。
本次發(fā)布的“悟道2.0”實(shí)現(xiàn)了“大而聰明”，具備大規(guī)模、高精度、高效率的特點(diǎn)。
與悟道1.0相比，“悟道2.0”不僅在模型規(guī)模上實(shí)現(xiàn)了萬(wàn)億級(jí)參數(shù)的跨越，還在世界公認(rèn)的9項(xiàng) Benchmark 上達(dá)到了世界第一，在多項(xiàng)基準(zhǔn)測(cè)試中超越OpenAI GPT-3、DALL·E以及Google ALIGN等先進(jìn)模型。
另外，悟道2.0完全基于國(guó)產(chǎn)神威超算實(shí)現(xiàn)萬(wàn)億級(jí)規(guī)模訓(xùn)練，并且打破了原來(lái)只能用GPU訓(xùn)練的局限。
我們注意到，GPT-3、Turing-NLG等主流的超大預(yù)訓(xùn)練模型均出自科技企業(yè)，國(guó)內(nèi)最大的預(yù)訓(xùn)練語(yǔ)言模型也為阿里研發(fā)的PLUG（270億參數(shù)），悟道2.0的發(fā)布意味著，智源研究院成為了“大煉模型”的首家科研機(jī)構(gòu)，并且在國(guó)內(nèi)接棒企業(yè)成為了“煉大模型”的主力。
在本屆峰會(huì)上，基于中文、多模態(tài)、認(rèn)知三個(gè)方面，悟道2.0帶來(lái)了哪些底層技術(shù)創(chuàng)新，為何悟道2.0參數(shù)能夠在短時(shí)間內(nèi)實(shí)現(xiàn)爆發(fā)式增長(zhǎng)？大會(huì)還有哪些全新升級(jí)，接下來(lái)3位圖靈獎(jiǎng)得主，200位頂級(jí)專家就前沿科技將分享哪些真知灼見(jiàn)？下面我們來(lái)一一來(lái)揭曉答案。
悟道2.0成功實(shí)現(xiàn)萬(wàn)億級(jí)突破，得益于FastMoE算法。
FastMoE的研發(fā)靈感來(lái)源于MoE（Mixture of Experts）。MoE一項(xiàng)在神經(jīng)網(wǎng)絡(luò)中引入若干專家網(wǎng)絡(luò)（Expert Network）的技術(shù)，也是Google發(fā)布的1.5萬(wàn)億參數(shù)預(yù)訓(xùn)練模型Switch Transformer的核心技術(shù)。
FastMoE在提升預(yù)訓(xùn)練模型參數(shù)量方面有著巨大的潛力。
如對(duì)于每個(gè)輸入，MoE動(dòng)態(tài)地由門網(wǎng)絡(luò)選擇k個(gè)專家網(wǎng)絡(luò)進(jìn)行激活，一般情況下，每個(gè)輸入x激活的專家網(wǎng)絡(luò)數(shù)量都很少，如512個(gè)專家網(wǎng)絡(luò)可能只挑選兩個(gè)。在運(yùn)算量（FLOPs）不變的情況下，這有利于增加模型參數(shù)量。
在一項(xiàng)實(shí)驗(yàn)中，Google將MoE應(yīng)用到基于Transformer的神經(jīng)機(jī)器翻譯的任務(wù)上，使用2048個(gè)TPU v3 cores花4天時(shí)間訓(xùn)練了一個(gè)6千億參數(shù)的模型。
不過(guò)，MoE對(duì)Google分布式訓(xùn)練框架mesh-tensorflow和定制硬件TPU有較強(qiáng)的依賴性，這給其他人開(kāi)源社區(qū)的使用和研究帶來(lái)了不便。
智源研究院為此以MoE為原型研發(fā)了一種易用性強(qiáng)、靈活性好、訓(xùn)練速度快的FastMoE系統(tǒng)，它可以在不同規(guī)模的計(jì)算機(jī)或集群上支持不同的MoE模型。而且，相比MoE，有如下技術(shù)優(yōu)勢(shì)：
既可以作為PyTorch模塊使用，也可以引入Gate變?yōu)镸oE層。
支持將任意神經(jīng)網(wǎng)絡(luò)模塊作為專家網(wǎng)絡(luò)使用，僅需要修改MoE層的一個(gè)參數(shù)。
相比直接使用PyTorch實(shí)現(xiàn)的版本，提速47倍。
支持大規(guī)模并行訓(xùn)練
為了支撐這個(gè)萬(wàn)億級(jí)模型，悟道2.0配備了國(guó)產(chǎn)超算GPU打造的高性能算力平臺(tái)。唐杰教授表示，隨著算力的不斷提升，模型或許有一天能夠達(dá)到與人腦突觸量級(jí)相當(dāng)?shù)?100 萬(wàn)億參數(shù)規(guī)模。當(dāng)然模型越大，意味著更高的訓(xùn)練成本，GPT-3一次訓(xùn)練費(fèi)用可達(dá)到了數(shù)千萬(wàn)美元。
在數(shù)據(jù)方面，智源研究院創(chuàng)建了全球最大中文語(yǔ)料數(shù)據(jù)庫(kù)WuDaoCorpora，規(guī)模達(dá)3TB，超出之前最大的中文語(yǔ)料庫(kù)CLUECorpus2020十倍以上。在悟道2.0中，WuDaoCorpora擴(kuò)展了多模態(tài)數(shù)據(jù)集（90TB）和中文對(duì)話數(shù)據(jù)集，其數(shù)據(jù)規(guī)模達(dá)（181GB）。
參數(shù)量越大不代表模型性能一定越好。在悟道2.0中，40億參數(shù)的多模態(tài)預(yù)訓(xùn)練模型CogView，在MS COCO數(shù)據(jù)集上比擁有130億參數(shù)的DALL·E表現(xiàn)更好。因此，在大數(shù)據(jù)和算力的支持下，算法的性能更為重要。谷歌發(fā)布的Switch Transformer，雖然達(dá)到了萬(wàn)億級(jí)規(guī)模，但其下游任務(wù)的精度并沒(méi)有大幅度提升。
為了提高超大規(guī)模預(yù)訓(xùn)練模型的精度和效率，悟道2.0從模型、訓(xùn)練、微調(diào)、推理等環(huán)節(jié)對(duì)算法進(jìn)行了全鏈路升級(jí)：
高效模型：首創(chuàng)純非歐空間模型，50%參數(shù)量即可達(dá)到近似歐式模型的效果。
高效訓(xùn)練：首創(chuàng)預(yù)訓(xùn)練語(yǔ)言模型融合框架“知識(shí)繼承”，可使訓(xùn)練時(shí)間縮短 27.3%，速度提升37.5%。它的核心思想是提取已有的小預(yù)訓(xùn)練語(yǔ)言模型模型蘊(yùn)藏的“隱式”知識(shí)，并將其注入超大規(guī)模模型當(dāng)中。
高效微調(diào)：首創(chuàng)基于檢索的半監(jiān)督少樣本的微調(diào)算法Prompt，只要需訓(xùn)練0.2%數(shù)據(jù)即可達(dá)到完整數(shù)據(jù)訓(xùn)練90%的效果。
高效推理：首創(chuàng)低資源大模型推理系統(tǒng)，單機(jī)單卡GPU即可以進(jìn)行千億參數(shù)規(guī)模的模型推理。
如何將中文融入預(yù)訓(xùn)練模型，推動(dòng)中文應(yīng)用背景下的人工智能發(fā)展？如何實(shí)現(xiàn)圖、文和視頻等多模態(tài)信息之間理解與建模的統(tǒng)一？如何提升大規(guī)模預(yù)訓(xùn)練模型的語(yǔ)言理解能力？如何進(jìn)一步實(shí)現(xiàn)對(duì)超長(zhǎng)/復(fù)雜蛋白質(zhì)序列的建模和預(yù)測(cè)？
圍繞這些問(wèn)題，悟道2.0創(chuàng)建文源、文瀾、文匯、文朔四大預(yù)訓(xùn)練模型，經(jīng)過(guò)一系列底層算法升級(jí)，在世界公認(rèn)的9項(xiàng) Benchmark 上達(dá)到了世界第一！
GLM+CogView+Inverse Prompting—文匯
在悟道2.0中，參數(shù)量達(dá)1.75萬(wàn)億的超大規(guī)模預(yù)訓(xùn)練語(yǔ)言模型便是悟道·文匯，基于GLM+P-tuning+Inverse Prompting+CogView多項(xiàng)創(chuàng)新算法，文匯能夠?qū)W習(xí)不同模態(tài)（文本和視覺(jué)領(lǐng)域?yàn)橹鳎┲g的概念，實(shí)現(xiàn)文生文、圖生文以及圖文生文等多項(xiàng)任務(wù)。
文匯是面向認(rèn)知的萬(wàn)億級(jí)多模態(tài)模型，旨在解決大規(guī)模自監(jiān)督預(yù)訓(xùn)練模型不具有認(rèn)知能力的問(wèn)題。目前，1.75萬(wàn)億級(jí)規(guī)模的文匯已經(jīng)具備初級(jí)認(rèn)知能力，并且在開(kāi)放對(duì)話、知識(shí)問(wèn)答、可控文本生成等認(rèn)知推理任務(wù)上均有不錯(cuò)的表現(xiàn)。而這得益于四項(xiàng)算法創(chuàng)新：
首先是通用預(yù)訓(xùn)練框架GLM。GLM能夠同時(shí)在分類、無(wú)條件生成和有條件生成三類NLP任務(wù)取得最優(yōu)結(jié)果；在訓(xùn)練數(shù)據(jù)相同的前提下，其在SuperGLUE自然語(yǔ)言理解基準(zhǔn)上的性能表現(xiàn)遠(yuǎn)超BERT；并且更擅長(zhǎng)填空問(wèn)題以及內(nèi)容生成。
其次是P-tuning，一種用連續(xù)的向量來(lái)表示Prompt的方法，它解決了Prompt在少樣本學(xué)習(xí)場(chǎng)景下容易過(guò)擬合的問(wèn)題，即“通過(guò)連續(xù)向量輸入，直接在連續(xù)空間里尋找Prompt的最優(yōu)解?！?/p>
在知識(shí)探測(cè)任務(wù)（LAMA）上，不需要任何額外文本，P-tuning提取的知識(shí)可以達(dá)到超過(guò)60%的準(zhǔn)確率，超越之前最好結(jié)果20個(gè)百分點(diǎn)。此外，P-tuning在少樣本學(xué)習(xí)中優(yōu)于包括PET和GPT-3在內(nèi)的所有few-shot learning的SOTA方法。
第三是Inverse Prompting，它解決了預(yù)訓(xùn)練模型“答非所問(wèn)”的難題，其核心思路是用生成的內(nèi)容反過(guò)來(lái)以同樣的模型預(yù)測(cè)原來(lái)的Prompt，從而保證問(wèn)題與答案之間較強(qiáng)的關(guān)聯(lián)性。
最后是CogView，通過(guò)40億參數(shù)的Transformer模型和VQ-VAE圖像分詞器解決了跨模態(tài)理解的問(wèn)題。類似于OpenAI 發(fā)布的DALL·E，CogView可以根據(jù)文本提示生成對(duì)應(yīng)圖像，不過(guò)其性能表現(xiàn)在MS COCO數(shù)據(jù)集上要優(yōu)于DALL·E以及基于GAN的模型。
以上算法創(chuàng)新只是第一步，文匯的長(zhǎng)期目標(biāo)是從預(yù)測(cè)去構(gòu)造決策，包括完全解決少樣本問(wèn)題，并通過(guò)對(duì)預(yù)訓(xùn)練和微調(diào)模式的創(chuàng)新，進(jìn)一步接近認(rèn)知目標(biāo)。
雙塔預(yù)訓(xùn)練結(jié)構(gòu)-文瀾
“悟道·文瀾是多模態(tài)多語(yǔ)言預(yù)訓(xùn)練模型。文瀾2.0首次實(shí)現(xiàn)了7種不同的語(yǔ)言的生成和理解，包括中、英、法、德、捷克、日、韓。在中文公開(kāi)多模態(tài)測(cè)試集AIC-ICC圖像生成描述任務(wù)中，得分比冠軍隊(duì)高出5%；在圖文互檢任務(wù)中，比目前最流行的UNITER模型高出20%。另外，在圖文檢索和圖像問(wèn)答任務(wù)上均超過(guò)現(xiàn)有多模態(tài)多語(yǔ)言預(yù)訓(xùn)練模型。
不同于大多預(yù)訓(xùn)練模型，文瀾模型獨(dú)創(chuàng)性地采用了一種基于多模態(tài)對(duì)比學(xué)習(xí)的雙塔結(jié)構(gòu)（Bridging Vision and Language，BriVL），與常見(jiàn)的單塔架構(gòu)相比，BriVL在圖像和文本之間建立了“弱相關(guān)”假設(shè)，在圖文互檢任務(wù)中能夠表現(xiàn)更好的性能。
重要的是，這種基于視覺(jué)-語(yǔ)言的弱相關(guān)假設(shè)也在一定程度上解決了大數(shù)據(jù)標(biāo)注難題，如唐杰教授所說(shuō)，“標(biāo)注數(shù)據(jù)很稀缺，如今我們對(duì)數(shù)據(jù)規(guī)模的需求越來(lái)越大，對(duì)億級(jí)數(shù)據(jù)進(jìn)行標(biāo)注幾乎不可能實(shí)現(xiàn)。所以未來(lái)，弱相關(guān)的多模態(tài)訓(xùn)練是一個(gè)大趨勢(shì)?！?/p>
為了彌補(bǔ)神經(jīng)網(wǎng)絡(luò)在表達(dá)上的損失，BriVL結(jié)構(gòu)中引入了監(jiān)督學(xué)習(xí)和對(duì)比學(xué)習(xí)。BriVL首先使用獨(dú)立的語(yǔ)言和視覺(jué)編碼器提取語(yǔ)言和視覺(jué)信息的特征向量，然后將這些向量傳入到對(duì)比學(xué)習(xí)模塊中進(jìn)行訓(xùn)練。
采用這樣的雙塔結(jié)構(gòu)，可以很方便地把編碼器模塊替換為最新的單模態(tài)預(yù)訓(xùn)練模型，從而可以持續(xù)增強(qiáng)模型表達(dá)能力。
此外，文瀾還提出了基于 DeepSpeed 的多模態(tài)預(yù)訓(xùn)練算法，能夠最大化的利用 GPU 和 CPU，并最優(yōu)地支持跨模態(tài)對(duì)比學(xué)習(xí)。
首創(chuàng)高效混合編碼機(jī)制-文源
悟道·文源是以中文為核心的大規(guī)模預(yù)訓(xùn)練模型，具有識(shí)記、理解、檢索、數(shù)值計(jì)算、多語(yǔ)言等多種能力。在開(kāi)放域回答、語(yǔ)法改錯(cuò)、情感分析等20種主流中文自然語(yǔ)言處理任務(wù)中均優(yōu)于同等參數(shù)量模型。
區(qū)別于其他模型，文源最大的創(chuàng)新之處在于采用了獨(dú)特的信息編碼方式。作為最復(fù)雜的語(yǔ)言體系之一，中文語(yǔ)料庫(kù)中的生僻字、形近字、音近字為模型訓(xùn)練帶來(lái)了諸多挑戰(zhàn)。
智源研究院為此首創(chuàng)了一種基于字音和字形的混合高效編碼機(jī)制，它與目前普遍使用的基于中文單字的編碼方式相比具有更好穩(wěn)定性。基于新型編碼機(jī)制訓(xùn)練后得到的兩大模型“說(shuō)文”和“解字”，在文本分類，句對(duì)分類，閱讀理解任務(wù)中的得分平均高于后者0.6個(gè)點(diǎn)。
另外，這種編碼方式對(duì)于形近字和同音字等常見(jiàn)錯(cuò)別字場(chǎng)景也具有一定優(yōu)勢(shì)。比如，對(duì)于中文簡(jiǎn)體字的繁體字、異體字變種，基于字形的編碼方式可以將復(fù)雜漢字拆解成更為常見(jiàn)的部首組合，幫助模型更好地理解復(fù)雜的異體字、罕見(jiàn)字。有實(shí)驗(yàn)數(shù)據(jù)顯示，在數(shù)據(jù)集存在異體字噪聲場(chǎng)景下，該模型優(yōu)于中文單字編碼機(jī)制最高18.8個(gè)點(diǎn)。
不僅僅局限于中文，文源也有向英文擴(kuò)展的能力，并在一系列偏向?qū)嶋H應(yīng)用層面的英文任務(wù)上超越了GPT-3。文源下一階段的目標(biāo)是嘗試用跨語(yǔ)言模型將不同語(yǔ)言的專家模型連接到一起，實(shí)現(xiàn)模型的多語(yǔ)言擴(kuò)展。
“悟道”的定位從一開(kāi)始就很明確：從更加本質(zhì)的角度進(jìn)一步探索通用人工智能。
去年10月，智源研究院?jiǎn)?dòng)新型超大規(guī)模預(yù)訓(xùn)練模型研發(fā)項(xiàng)目正式啟動(dòng)，智源研究院院長(zhǎng)黃鐵軍在會(huì)上表示，近年來(lái)人工智能的發(fā)展，已經(jīng)從“大煉模型”逐步邁向了“煉大模型”的階段，通過(guò)設(shè)計(jì)先進(jìn)的算法，整合盡可能多的數(shù)據(jù)，匯聚大量算力，集約化地訓(xùn)練大模型，供大量企業(yè)使用，這是必然趨勢(shì)。
目前，GPT-3等預(yù)訓(xùn)練語(yǔ)言模型提供了一條探索通用人工智能的可能路徑，OpenAI、谷歌、Facebook等國(guó)際IT企業(yè)都在此持續(xù)加碼，然而，隨著Turing NLG、BERT、GPT-3、Switch Transformer等重磅成果不斷被發(fā)布，以中文為核心的預(yù)訓(xùn)練模型仍寥寥無(wú)幾，在此發(fā)展態(tài)勢(shì)下，研發(fā)我國(guó)自主的大規(guī)模預(yù)訓(xùn)練模型勢(shì)在必行。
與此同時(shí)，悟道啟動(dòng)以中文為核心的文源、基于多模態(tài)的文瀾、面向認(rèn)知的文匯、以及用于蛋白質(zhì)預(yù)測(cè)的文溯四大預(yù)訓(xùn)練模型，其目標(biāo)在于解決目前國(guó)際主流模型存在的前沿問(wèn)題。
我們知道，雖然GPT-3在多項(xiàng)任務(wù)中表現(xiàn)出色，寫小說(shuō)、做圖表、寫代碼統(tǒng)統(tǒng)不在話下，但它并沒(méi)有通過(guò)圖靈測(cè)試。它最大的問(wèn)題是沒(méi)有常識(shí)，不具備認(rèn)知能力。 此外，它在處理開(kāi)放對(duì)話、基于知識(shí)的問(wèn)答、可控文本生成等復(fù)雜的認(rèn)知推理任務(wù)上，也與人類智能有較大差距。
基于此，悟道·文匯希望從更本質(zhì)的認(rèn)知層面去探索通用人工智能的潛力。
悟道·文瀾嘗試通過(guò)多模態(tài)解決現(xiàn)實(shí)場(chǎng)景的需求。隨著自然語(yǔ)言處理、計(jì)算機(jī)視覺(jué)以及語(yǔ)音識(shí)別等人工智能技術(shù)日益成熟，如何實(shí)現(xiàn)大規(guī)模落地成為人們必須思考的問(wèn)題。而面對(duì)復(fù)雜多變的現(xiàn)實(shí)場(chǎng)景，“多模態(tài)”成為了前沿技術(shù)走向產(chǎn)業(yè)應(yīng)用的下一個(gè)突破口。
今年OpenAI打破語(yǔ)言與視覺(jué)的界限，推出文本生成圖像模型DALL·E 和 CLIP達(dá)到SOTA性能；谷歌推出多語(yǔ)言多模態(tài)模型MUM，顯著提高了搜索效率。
然而以上成果只是一個(gè)開(kāi)端，人工智能模型在文本、圖像、音頻、視頻等不同數(shù)據(jù)類型之間的跨模態(tài)理解上仍面臨不小的挑戰(zhàn)。
悟道·文溯則旨在通過(guò)前沿技術(shù)加速推動(dòng)電子信息、生物醫(yī)藥等基礎(chǔ)科學(xué)科的科學(xué)研究進(jìn)程。人工智能技術(shù)在解決重大科學(xué)問(wèn)題上表現(xiàn)出了巨大的潛力，尤其是蛋白質(zhì)預(yù)測(cè)領(lǐng)域，去年DeepMind公司研究人員研發(fā)的AlphaFold，將蛋白質(zhì)結(jié)構(gòu)預(yù)測(cè)的準(zhǔn)確度提高到了原子水平，解決了困擾科學(xué)界近50年的重大難題。
在此背景下，悟道嘗試以基因領(lǐng)域認(rèn)知圖譜為指導(dǎo)，通過(guò)超大規(guī)模預(yù)訓(xùn)練模型解決超長(zhǎng)/復(fù)雜蛋白質(zhì)序列的建模和預(yù)測(cè)問(wèn)題。
在悟道2.0中，文源、文瀾、文匯、文溯均在標(biāo)準(zhǔn)測(cè)試中達(dá)到了世界領(lǐng)先水平。悟道在研發(fā)的同時(shí)，智源研究院也在同步探索其生態(tài)建設(shè)模式。隨著悟道2.0的發(fā)布，其產(chǎn)業(yè)應(yīng)用進(jìn)程也進(jìn)一步加快。
在開(kāi)幕式上，智源研究院學(xué)術(shù)副院長(zhǎng)唐杰教授現(xiàn)場(chǎng)與21家企業(yè)舉辦了合作簽約儀式，圍繞悟道2.0的產(chǎn)業(yè)應(yīng)用，與美團(tuán)、小米、快手、搜狗、360、寒武紀(jì)、好未來(lái)、新華社等21家企業(yè)達(dá)成了戰(zhàn)略合作。悟道2.0將以開(kāi)放API（應(yīng)用程序接口）的形式為這些企業(yè)提供服務(wù)。
此外，智源研究院還與新華社合作將悟道模型應(yīng)用于新聞智能化轉(zhuǎn)型，這是新聞?lì)I(lǐng)域0到1 的突破。在新聞?lì)I(lǐng)域，悟道模型能夠處理新聞下游任務(wù)， 包括新聞內(nèi)容處理、圖文生成、傳播優(yōu)化等，還具備接近人類的圖文創(chuàng)意能力，可以作詩(shī)、 問(wèn)答、創(chuàng)意寫作等。
智源研究院副院長(zhǎng)唐杰教授在會(huì)上表示，悟道2.0后續(xù)將支持智源研究院牽頭成立獨(dú)立的模型商業(yè)化運(yùn)營(yíng)公司， 并將面向個(gè)人開(kāi)發(fā)者、中小創(chuàng)新企業(yè)、行業(yè)應(yīng)用企業(yè)、IT領(lǐng)軍企業(yè)等不同主體，分別提供模型開(kāi)源、API（應(yīng)用程序編程接口）調(diào)用、“專業(yè)版”大模型開(kāi)發(fā)、大模型開(kāi)發(fā)許可授權(quán)等多種形態(tài)的模型能力服務(wù)，賦能AI技術(shù)研發(fā)。
可以預(yù)見(jiàn)，以智源2.0為代表的大模型將成為一個(gè)AI未來(lái)平臺(tái)的起點(diǎn)，成為類似“電?”的基礎(chǔ)建設(shè)，為社會(huì)源源不斷供應(yīng)智?源。
悟道2.0的研發(fā)集結(jié)了中國(guó)人工智能產(chǎn)業(yè)界和學(xué)術(shù)界的各方力量。
黃鐵軍表示，“我認(rèn)為，未來(lái)真正賦值各行各業(yè)的大模型，在全世界范圍能都是屈指可數(shù)的，應(yīng)該盡快把資源收斂到少數(shù)超大規(guī)模智能模型上來(lái)?！?/p>
正是因?yàn)檎J(rèn)識(shí)到這一點(diǎn)，智源研究院聯(lián)合了北京大學(xué)、清華大學(xué)、人民大學(xué)、中國(guó)科學(xué)院等單位的100余位AI科學(xué)家聯(lián)合攻關(guān)悟道超大預(yù)訓(xùn)練模型。
唐杰教授在會(huì)上表示，“我們的WuDaoCorpora是全球最大數(shù)據(jù)集的3倍，希望每一位都加入其中，我們做更大的數(shù)據(jù)，只有更大的數(shù)據(jù)、更大的算力，才能做出更優(yōu)美的模型。”
為此，智源研究院在會(huì)上正式啟動(dòng)了“智源學(xué)者計(jì)劃”，目標(biāo)是遴選最優(yōu)秀的科學(xué)家，共同探索人工智能科技前沿“無(wú)人區(qū)”，挑戰(zhàn)最基礎(chǔ)的問(wèn)題和最關(guān)鍵的難題。
截至目前，智源研究院已在人工智能的數(shù)理基礎(chǔ)、人工智能的認(rèn)知神經(jīng)基礎(chǔ)、機(jī)器學(xué)習(xí)、自然語(yǔ)言處理、智能信息檢索與挖掘、智能系統(tǒng)架構(gòu)與芯片等六大研究方向，遴選智源學(xué)者94人，分別來(lái)自北大、清華、中科院等高校院所與曠視、京東等優(yōu)勢(shì)企業(yè)。值得關(guān)注的是，面向青年科研人員，智源研究院今年還成立了AI青年科學(xué)家學(xué)術(shù)組織“青源會(huì)”，為海內(nèi)外的AI青年科學(xué)家和技術(shù)人員建立的寬松、活躍的學(xué)術(shù)交流平臺(tái)。
智源大會(huì)也是智源研究院為學(xué)者提供學(xué)術(shù)交流與思想碰撞的平臺(tái)，目前已經(jīng)成功舉辦兩年。是國(guó)內(nèi)人工智能領(lǐng)域最具影響力的年度盛會(huì)。
由于采取極為嚴(yán)格的內(nèi)行榮譽(yù)邀請(qǐng)制，智源大會(huì)的參會(huì)嘉賓均為人工智能領(lǐng)域的頂級(jí)專家和學(xué)者，因而也被稱為真正的AI內(nèi)行人盛會(huì)。
本屆大會(huì)邀請(qǐng)到了包括圖靈獎(jiǎng)得主Yoshua Bengio、David Patterson在內(nèi)的200多位頂級(jí)人工智能專家。
包括加州大學(xué)伯克利分校教授Stuart Russell，宋曉冬（Dawn Song），澳大利亞科學(xué)院院士、ACM Fellow、AAAI Fellow Toby Walsh，康奈爾大學(xué)教授Carla Gomes，AAAI候任主席、康奈爾大學(xué)教授Bart Selman，Numenta聯(lián)合創(chuàng)始人、美國(guó)工程院院士Jeff Hawkins，北京大學(xué)、中國(guó)科學(xué)院院士鄂維南，清華大學(xué)國(guó)家金融研究院院長(zhǎng)朱民，蒂賓根大學(xué)教授李兆平等。
此外，大會(huì)圍繞當(dāng)前人工智能領(lǐng)域的前沿?zé)衢T學(xué)研主題和產(chǎn)業(yè)落地主題設(shè)置了30多個(gè)專題論壇：
6月1日：開(kāi)幕式和全體大會(huì)，預(yù)訓(xùn)練論壇，人工智能的數(shù)理基礎(chǔ)論壇，智能體系架構(gòu)與芯片論壇，AI科技女性論壇，AI人才培養(yǎng)論壇。
6月2日：青源學(xué)術(shù)年會(huì)，人工智能倫理、治理與可持續(xù)發(fā)展論壇，全體大會(huì)，機(jī)器學(xué)習(xí)論壇，智能信息檢索與挖掘論壇，科學(xué)智能論壇，產(chǎn)業(yè)畫像和精準(zhǔn)治理中的AI創(chuàng)新應(yīng)用論壇，決策智能科學(xué)場(chǎng)景暨滴滴決策智能仿真開(kāi)放平臺(tái)發(fā)布會(huì)，人工智能的認(rèn)知神經(jīng)基礎(chǔ)論壇，精準(zhǔn)智能論壇，認(rèn)知智能論壇，晚間全體大會(huì)；
6月3日：AI創(chuàng)業(yè)論壇，AI交通論壇，自然語(yǔ)言處理論壇，國(guó)際AI研究機(jī)構(gòu)論壇，強(qiáng)化學(xué)習(xí)與決策智能論壇，人工智能與社會(huì)經(jīng)濟(jì)論壇，AI賦能生命健康與生物醫(yī)藥論壇，工業(yè)智能論壇，視覺(jué)大模型論壇，AI制藥論壇，AI系統(tǒng)論壇，AI開(kāi)放與共享論壇，AI安全與產(chǎn)業(yè)治理論壇，全體大會(huì)及閉幕式；
1、機(jī)器學(xué)習(xí)論壇（6月1日）
論壇主席：朱軍 清華大學(xué)教授，智源機(jī)器學(xué)習(xí)方向首席科學(xué)家
Opening the Black Box of Deep Learning: Some Lessons and Take-aways | Sanjeev Arora 普林斯頓大學(xué)計(jì)算機(jī)科學(xué)Charles C. Fitzmorris教授
Deep (Convolution) Networks from First Principles | 馬毅 加州大學(xué)伯克利分校教授
開(kāi)放環(huán)境機(jī)器學(xué)習(xí) | 周志華南京大學(xué)教授
可解釋性定義與可解釋模型的學(xué)習(xí) | 張長(zhǎng)水清華大學(xué)教授，智源研究員
2、認(rèn)知神經(jīng)基礎(chǔ)論壇（6月2日）
論壇主席: 劉嘉 - 清華大學(xué)教授，智源首席科學(xué)家
History and recent advances of deep learning theories | 甘利俊 帝京大學(xué)綜合科學(xué)研究機(jī)構(gòu)特任教授、理化學(xué)研究所榮譽(yù)研究員
Data-driven Simulations of Basal Ganglia Microcircuits | Jeanette Hellgren Kotaleski 英國(guó)皇家理工學(xué)院教授，卡洛琳斯卡學(xué)院教授
Human brain works differently from Deep Learning technology | Danko NikolicEvocenta 人工智能和數(shù)據(jù)科學(xué)主管
Challenging Artificial Intelligence Vision Algorithms to achieve human level performance | Alan Yuille Bloomberg 特聘教授
高精度模擬-生物智能涌現(xiàn)之基石
3、視覺(jué)大模型（6月3日）
主席和主持人: 山世光 - 中科院計(jì)算所研究員
預(yù)訓(xùn)練大模型的探索和實(shí)踐 | 田奇 華為云人工智能領(lǐng)域首席科學(xué)家
大規(guī)模視覺(jué)表征學(xué)習(xí) | 翟曉華谷歌大腦 研究員
我們賴以生存的意義和超大規(guī)模多模態(tài)預(yù)訓(xùn)練 | 宋睿華中國(guó)人民大學(xué)高瓴人工智能學(xué)院長(zhǎng)聘副教授
當(dāng)下AI領(lǐng)域最核心的學(xué)術(shù)及應(yīng)用問(wèn)題將在專題論壇中得到解答：
人工智能的大統(tǒng)一理論（人工智能的數(shù)理基礎(chǔ)論壇）
4、GPT-n需要什么樣的智能計(jì)算系統(tǒng)？（智能體系架構(gòu)與芯片論壇）
智能制造的未來(lái)方向與技術(shù)壁壘（工業(yè)智能）
AI系統(tǒng)的發(fā)展趨勢(shì)與挑戰(zhàn)（AI系統(tǒng)）
AI賦能生命健康與生物醫(yī)藥
5、需要特別強(qiáng)調(diào)幾個(gè)別樣的論壇：
預(yù)訓(xùn)練論壇（6月1日下午）：由智源研究院副院長(zhǎng)唐杰教授帶領(lǐng)，將詳細(xì)解讀「悟道2.0」的技術(shù)細(xì)節(jié)。
青源學(xué)術(shù)年會(huì)（6月2日全天）：不僅有自監(jiān)督學(xué)習(xí)、圖神經(jīng)網(wǎng)絡(luò)前沿專題研討，還有一個(gè)屬于青年科研人員自己的組織在論壇發(fā)布。
AI創(chuàng)業(yè)論壇（6月3日上午）：智源研究院董事長(zhǎng)張宏江博士將重磅發(fā)布智源研究院對(duì)AI創(chuàng)業(yè)者的支持項(xiàng)目。
雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
