一張賀年卡里，能有多少尖端AI技術(shù)？

本文作者：我在思考中

2023-01-29 11:44

導(dǎo)語(yǔ)：寫(xiě)詩(shī)、作詞、繪畫(huà)，AIGC大包大攬，給你送上新年祝福。

作者 | 董子博???

編輯 | 岑峰???

農(nóng)歷新春將近，新一屆“拜年文學(xué)大賽”又要開(kāi)始了。

一到此時(shí)，各路拜年祝福就爭(zhēng)奇斗艷，層出不窮。想要文義優(yōu)美、辭藻生動(dòng)，本就讓不少人想破腦袋；如果再想配上一幅優(yōu)美的圖片，原創(chuàng)且有新意，更是成了每一年的大難題。

往年“卷”得不行的拜年消息，在今天只需輸入簡(jiǎn)單幾句話(huà)，就能輕松搞定。而這背后，自然是AIGC技術(shù)的重大賦能。

這張由智譜AI生成的賀年卡，不僅不花什么功夫，還包含了一段年味十足的祝福語(yǔ)，和一張精美的圖片，如果有心，還能附上一首賀年的詩(shī)詞。一眼看上去平平無(wú)奇，但實(shí)際上，卻是尖端AIGC技術(shù)的集中體現(xiàn)。

先說(shuō)說(shuō)每年最讓人頭疼的祝福語(yǔ)：在這張祝福卡上，僅憑寥寥幾句引導(dǎo)語(yǔ)，由清華大學(xué)KEG實(shí)驗(yàn)室和智譜AI研發(fā)的開(kāi)放問(wèn)答機(jī)器人小呆（XDAI）就能夠完成一段相當(dāng)高質(zhì)量的祝福，甚至還能實(shí)現(xiàn)押韻。

但這還并不是XDAI最強(qiáng)大的功能，短短一段祝福語(yǔ)背后，小呆還有著能夠完成有邏輯、有內(nèi)容的對(duì)話(huà)實(shí)力。

大規(guī)模預(yù)訓(xùn)練語(yǔ)言模型（PLM）在近年來(lái)的進(jìn)展有目共睹，尤其是ChatGPT橫空出世，更是給PLM圈粉無(wú)數(shù)，吸引了大量關(guān)注。但也有學(xué)者看到，在大模型下構(gòu)建基于知識(shí)的對(duì)話(huà)系統(tǒng)，實(shí)現(xiàn)知識(shí)資源的收集，并根據(jù)任務(wù)調(diào)優(yōu)，對(duì)于個(gè)人開(kāi)發(fā)者來(lái)說(shuō)成本太高。這也就讓這項(xiàng)技術(shù)在落地上門(mén)檻太高，擋住了一大批有興趣的開(kāi)發(fā)者。

XDAI的提出，就是針對(duì)上面的情況，旨在讓開(kāi)發(fā)人員無(wú)需微調(diào)，即可利用PLM，快速創(chuàng)建開(kāi)放域?qū)υ?huà)系統(tǒng)，并可以用Prompt（引導(dǎo)語(yǔ)）定制自己的特定域系統(tǒng)。

這也是XDAI最強(qiáng)大的能力，它不僅能借此完成頗具年味的文字生成，還能通過(guò)設(shè)計(jì)不同的Prompt，達(dá)成對(duì)XDAI“人設(shè)”、甚至“性格”的調(diào)整，來(lái)設(shè)計(jì)一個(gè)憤怒版、抑郁版、暖心版等不同版本的“小呆”。

說(shuō)回賀年卡，如果你覺(jué)得“小呆”為你生成的文字不夠詩(shī)意，你可以呼叫“悟能”，讓它來(lái)幫你寫(xiě)作一首詩(shī)。

“悟能作詩(shī)”是智譜AI開(kāi)發(fā)的，一個(gè)在PLM的基礎(chǔ)上開(kāi)發(fā)的AI作詩(shī)平臺(tái)。在原先的PLM中，盡管模型已經(jīng)能夠生成不錯(cuò)的文字內(nèi)容，但卻往往缺乏對(duì)于問(wèn)題主題的專(zhuān)注。

在對(duì)話(huà)中，這個(gè)弱點(diǎn)可能瑕不掩瑜；但在詩(shī)歌創(chuàng)作上，缺乏主題卻相當(dāng)致命。

于是，開(kāi)發(fā)者想到，可以使用Inverse Prompting的方式，來(lái)避免這個(gè)弱點(diǎn)——利用生成的文本去復(fù)原給定的標(biāo)題，在通過(guò)對(duì)生成語(yǔ)句的打分，配合梁式搜索，每生成一個(gè)短句，就進(jìn)行一次評(píng)分，并保留分?jǐn)?shù)最高的內(nèi)容。

再使用這個(gè)方法，“悟能”能夠?qū)W習(xí)自己生成的內(nèi)容，對(duì)自己的內(nèi)容打分，并以此做微調(diào)，加強(qiáng)自身作詩(shī)的能力。

在“悟能作詩(shī)”，雷峰網(wǎng)以“新年”為關(guān)鍵詞，并限定了“悲傷”的情緒，最終生成的結(jié)果如下：

新年

【悟道】風(fēng)格: 李白(唐)

圣歷初開(kāi)歲云山半老時(shí)

七輪才偃月九陌亂填絲

曙角分龍節(jié) 寒塵斂隼旗

元宵幾處玩禁火夜彌遲

最后再說(shuō)說(shuō)，這張賀年卡背后，圖片生成的AIGC產(chǎn)品——CogView。

CogView的算法框架分為VQ-VAE和Transformer兩部分，對(duì)圖像和文本進(jìn)行大規(guī)模生成式聯(lián)合預(yù)訓(xùn)練，首先以VQ-VAE將圖像壓縮成Token，再將其輸入Transformer進(jìn)行生成訓(xùn)練；反其道而行之，也可以將Transformer輸出的Token作為依據(jù)，生成圖像。

一張賀年卡里，能有多少尖端AI技術(shù)？

在文字、詩(shī)歌、圖片生成的領(lǐng)域，AIGC都擔(dān)任了重要的工作。而在小呆、悟能、CogView的背后，都有大規(guī)模語(yǔ)言訓(xùn)練模型GLM-130B的影子。

這個(gè)由清華大學(xué)計(jì)算機(jī)系KEG實(shí)驗(yàn)室，和智譜AI開(kāi)發(fā)的開(kāi)源雙語(yǔ)大規(guī)模語(yǔ)言訓(xùn)練模型，在前些時(shí)間的基準(zhǔn)測(cè)試上超過(guò)了OpenAI的GPT-3和谷歌的PALM，并且以開(kāi)源的形式，作為開(kāi)源大模型的中國(guó)力量，普惠廣大的使用者。

一張小小的賀年卡，背后是一個(gè)開(kāi)源大模型的支持，和三種AIGC的尖端技術(shù)。在未來(lái)，AIGC技術(shù)可能也會(huì)給一年一度的“拜年文學(xué)大賽”畫(huà)上句點(diǎn)。

后續(xù)我們會(huì)進(jìn)一步對(duì)GLM-130B進(jìn)行專(zhuān)項(xiàng)的寫(xiě)作和報(bào)道，如果感興趣的話(huà)，可以加本文作者微信交流：william_dong。

更多內(nèi)容，點(diǎn)擊下方關(guān)注：

一張賀年卡里，能有多少尖端AI技術(shù)？