作者 | 董子博???
編輯 | 岑峰???
農(nóng)歷新春將近，新一屆“拜年文學(xué)大賽”又要開始了。
一到此時，各路拜年祝福就爭奇斗艷，層出不窮。想要文義優(yōu)美、辭藻生動，本就讓不少人想破腦袋；如果再想配上一幅優(yōu)美的圖片，原創(chuàng)且有新意，更是成了每一年的大難題。
往年“卷”得不行的拜年消息，在今天只需輸入簡單幾句話，就能輕松搞定。而這背后，自然是AIGC技術(shù)的重大賦能。
這張由智譜AI生成的賀年卡，不僅不花什么功夫，還包含了一段年味十足的祝福語，和一張精美的圖片，如果有心，還能附上一首賀年的詩詞。一眼看上去平平無奇，但實(shí)際上，卻是尖端AIGC技術(shù)的集中體現(xiàn)。先說說每年最讓人頭疼的祝福語：在這張祝?？ㄉ希瑑H憑寥寥幾句引導(dǎo)語，由清華大學(xué)KEG實(shí)驗(yàn)室和智譜AI研發(fā)的開放問答機(jī)器人小呆（XDAI）就能夠完成一段相當(dāng)高質(zhì)量的祝福，甚至還能實(shí)現(xiàn)押韻。但這還并不是XDAI最強(qiáng)大的功能，短短一段祝福語背后，小呆還有著能夠完成有邏輯、有內(nèi)容的對話實(shí)力。大規(guī)模預(yù)訓(xùn)練語言模型（PLM）在近年來的進(jìn)展有目共睹，尤其是ChatGPT橫空出世，更是給PLM圈粉無數(shù)，吸引了大量關(guān)注。但也有學(xué)者看到，在大模型下構(gòu)建基于知識的對話系統(tǒng)，實(shí)現(xiàn)知識資源的收集，并根據(jù)任務(wù)調(diào)優(yōu)，對于個人開發(fā)者來說成本太高。這也就讓這項技術(shù)在落地上門檻太高，擋住了一大批有興趣的開發(fā)者。XDAI的提出，就是針對上面的情況，旨在讓開發(fā)人員無需微調(diào)，即可利用PLM，快速創(chuàng)建開放域?qū)υ捪到y(tǒng)，并可以用Prompt（引導(dǎo)語）定制自己的特定域系統(tǒng)。這也是XDAI最強(qiáng)大的能力，它不僅能借此完成頗具年味的文字生成，還能通過設(shè)計不同的Prompt，達(dá)成對XDAI“人設(shè)”、甚至“性格”的調(diào)整，來設(shè)計一個憤怒版、抑郁版、暖心版等不同版本的“小呆”。說回賀年卡，如果你覺得“小呆”為你生成的文字不夠詩意，你可以呼叫“悟能”，讓它來幫你寫作一首詩。“悟能作詩”是智譜AI開發(fā)的，一個在PLM的基礎(chǔ)上開發(fā)的AI作詩平臺。在原先的PLM中，盡管模型已經(jīng)能夠生成不錯的文字內(nèi)容，但卻往往缺乏對于問題主題的專注。在對話中，這個弱點(diǎn)可能瑕不掩瑜；但在詩歌創(chuàng)作上，缺乏主題卻相當(dāng)致命。于是，開發(fā)者想到，可以使用Inverse Prompting的方式，來避免這個弱點(diǎn)——利用生成的文本去復(fù)原給定的標(biāo)題，在通過對生成語句的打分，配合梁式搜索，每生成一個短句，就進(jìn)行一次評分，并保留分?jǐn)?shù)最高的內(nèi)容。再使用這個方法，“悟能”能夠?qū)W習(xí)自己生成的內(nèi)容，對自己的內(nèi)容打分，并以此做微調(diào)，加強(qiáng)自身作詩的能力。在“悟能作詩”，雷峰網(wǎng)以“新年”為關(guān)鍵詞，并限定了“悲傷”的情緒，最終生成的結(jié)果如下：新年
圣歷初開歲 云山半老時
七輪才偃月 九陌亂填絲
曙角分龍節(jié) 寒塵斂隼旗
元宵幾處玩 禁火夜彌遲
最后再說說，這張賀年卡背后，圖片生成的AIGC產(chǎn)品——CogView。
CogView的算法框架分為VQ-VAE和Transformer兩部分，對圖像和文本進(jìn)行大規(guī)模生成式聯(lián)合預(yù)訓(xùn)練，首先以VQ-VAE將圖像壓縮成Token，再將其輸入Transformer進(jìn)行生成訓(xùn)練；反其道而行之，也可以將Transformer輸出的Token作為依據(jù)，生成圖像。
在文字、詩歌、圖片生成的領(lǐng)域，AIGC都擔(dān)任了重要的工作。而在小呆、悟能、CogView的背后，都有大規(guī)模語言訓(xùn)練模型GLM-130B的影子。
這個由清華大學(xué)計算機(jī)系KEG實(shí)驗(yàn)室，和智譜AI開發(fā)的開源雙語大規(guī)模語言訓(xùn)練模型，在前些時間的基準(zhǔn)測試上超過了OpenAI的GPT-3和谷歌的PALM，并且以開源的形式，作為開源大模型的中國力量，普惠廣大的使用者。
一張小小的賀年卡，背后是一個開源大模型的支持，和三種AIGC的尖端技術(shù)。在未來，AIGC技術(shù)可能也會給一年一度的“拜年文學(xué)大賽”畫上句點(diǎn)。
后續(xù)我們會進(jìn)一步對GLM-130B進(jìn)行專項的寫作和報道，如果感興趣的話，可以加本文作者微信交流：william_dong。
更多內(nèi)容，點(diǎn)擊下方關(guān)注：
未經(jīng)「AI科技評論」授權(quán)，嚴(yán)禁以任何方式在網(wǎng)頁、論壇、社區(qū)進(jìn)行轉(zhuǎn)載！
公眾號轉(zhuǎn)載請先在「AI科技評論」后臺留言取得授權(quán)，轉(zhuǎn)載時需標(biāo)注來源并插入本公眾號名片。
雷峰網(wǎng)(公眾號：雷峰網(wǎng))
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
