10月26日，騰訊宣布，騰訊混元大模型迎來(lái)全新升級(jí)，并正式對(duì)外開(kāi)放“文生圖”功能，展示了其在圖像自動(dòng)生成領(lǐng)域的領(lǐng)先能力。升級(jí)后的騰訊混元中文能力整體超過(guò)GPT3.5，代碼能力大幅提升20%，達(dá)到業(yè)界領(lǐng)先水平。

作為實(shí)用級(jí)的通用大模型，騰訊混元大模型的應(yīng)用場(chǎng)景豐富多樣。目前，超過(guò)180個(gè)騰訊內(nèi)部業(yè)務(wù)已接入騰訊混元，包括騰訊會(huì)議、騰訊文檔、企業(yè)微信、騰訊廣告和微信搜一搜等。最近，QQ瀏覽器還基于騰訊混元推出了“PDF閱讀助手”，具備智能摘要、智能問(wèn)答和多輪提問(wèn)等功能。

目前，已有來(lái)自零售、教育、金融、醫(yī)療、傳媒、交通、政務(wù)等多個(gè)行業(yè)的客戶，通過(guò)騰訊云調(diào)用騰訊混元大模型API，應(yīng)用領(lǐng)域涉及智能問(wèn)答、內(nèi)容創(chuàng)作、數(shù)據(jù)分析、代碼助手等多個(gè)場(chǎng)景。今年9月首批通過(guò)備案后，騰訊混元大模型也已經(jīng)面向C端用戶陸續(xù)開(kāi)放體驗(yàn)，用戶通過(guò)小程序或網(wǎng)頁(yè)端，就能與騰訊混元對(duì)話。

此次，騰訊自研的面向垂直領(lǐng)域的7B和13B模型也首次亮相，同等效果下僅需較少的tokens，訓(xùn)練效率更高。模型實(shí)測(cè)中英文效果整體優(yōu)于國(guó)內(nèi)外開(kāi)源模型，能夠以更高的性價(jià)比和效率支持應(yīng)用落地，滿足各種垂直場(chǎng)景和業(yè)務(wù)需求，助力騰訊全面擁抱大模型。

據(jù)了解，騰訊掌握從模型算法到機(jī)器學(xué)習(xí)框架再到AI基礎(chǔ)設(shè)施的全鏈路自研技術(shù)，這為大模型的快速迭代提供了有利條件。自首次公開(kāi)亮相以來(lái)，騰訊混元大模型進(jìn)入了加速升級(jí)的軌道。在自研算法的支持下，模型穩(wěn)定性和可靠性穩(wěn)步提升。

騰訊混元文生圖驚艷亮相，廣告場(chǎng)景應(yīng)用效果明顯

文生圖是AIGC領(lǐng)域的核心技術(shù)之一，也是體現(xiàn)通用大模型能力的試金石，對(duì)模型算法、訓(xùn)練平臺(tái)、算力設(shè)施都有較高的要求。

騰訊最早在廣告場(chǎng)景進(jìn)行AI自動(dòng)生成圖像的探索，在此過(guò)程中積累了深厚的研發(fā)能力。據(jù)介紹，相比其他大模型，騰訊混元的文生圖應(yīng)用，在人像真實(shí)感、場(chǎng)景真實(shí)感上有比較明顯的優(yōu)勢(shì)，同時(shí)，在中國(guó)風(fēng)景、動(dòng)漫游戲等場(chǎng)景等生成上有較好的表現(xiàn)。

在業(yè)界公認(rèn)難度較高的人臉畫像生成上，騰訊混元也交出了令人滿意的作品。比如，輸入提示詞“生成可愛(ài)的亞洲 4 歲女孩穿著棉質(zhì)連衣裙，大眼睛，古代中國(guó)，攝影風(fēng)格，漢服”，騰訊混元大模型生成如下：

可以看到，騰訊混元大模型可以很好地理解提示詞中提到的“棉質(zhì)連衣裙”、“漢服”等內(nèi)容，同時(shí)在風(fēng)格上，也通過(guò)建筑和風(fēng)景等襯托，很好的展示了“古代中國(guó)”的風(fēng)格要求。

另外一個(gè)例子中，輸入提示詞“ 一個(gè)城市CBD辦公樓，現(xiàn)代化設(shè)計(jì)，高層建筑，玻璃幕墻，近景拍攝，攝影風(fēng)格，攝影照片”，騰訊混元大模型交出了如下作品：

更簡(jiǎn)單一些，輸入提示詞“輕舟已過(guò)萬(wàn)重山，水墨畫風(fēng)格”就可以得到下面的圖片：

大模型文生圖的難點(diǎn)體現(xiàn)在對(duì)提示詞的語(yǔ)義理解、生成內(nèi)容的合理性以及生成圖片的效果。針對(duì)這三個(gè)技術(shù)難點(diǎn)，騰訊進(jìn)行了專項(xiàng)的技術(shù)研究，提出了一系列原創(chuàng)算法，來(lái)保證生成圖片的可用性和畫質(zhì)。

在語(yǔ)義理解方面，騰訊混元采用了中英文雙語(yǔ)細(xì)粒度的模型。模型同時(shí)建模中英文實(shí)現(xiàn)雙語(yǔ)理解，并通過(guò)優(yōu)化算法提升了模型對(duì)細(xì)節(jié)的感知能力與生成效果，有效避免多文化差異下的理解錯(cuò)誤。

在內(nèi)容合理性方面，AI生成人體結(jié)構(gòu)和手部經(jīng)常容易變形?；煸纳鷪D通過(guò)增強(qiáng)算法模型的圖像二維空間位置感知能力，并將人體骨架和人手結(jié)構(gòu)等先驗(yàn)信息引入到生成過(guò)程中，讓生成的圖像結(jié)構(gòu)更合理，減少錯(cuò)誤率。

在畫面質(zhì)感方面，混元文生圖基于多模型融合的方法，提升生成質(zhì)感。經(jīng)過(guò)模型算法的優(yōu)化之后，混元文生圖的人像模型，包含發(fā)絲、皺紋等細(xì)節(jié)的效果提升了30%，場(chǎng)景模型，包含草木、波紋等細(xì)節(jié)的效果提升了25%。

prompt：生成一幅照片：桂林漓江的山水，江上有一艘小船

作為“從實(shí)踐中來(lái)，到實(shí)踐中去”的大模型，騰訊混元文生圖能力，目前已經(jīng)被用于素材創(chuàng)作、商品合成、游戲出圖等多項(xiàng)業(yè)務(wù)中，此外在廣告業(yè)務(wù)下的多輪測(cè)評(píng)中，騰訊混元文生圖的案例優(yōu)秀率和廣告主采納率分別達(dá)到86%和26%，均高于同類模型。

代碼能力行業(yè)領(lǐng)先，騰訊內(nèi)部已經(jīng)用大模型“寫”代碼

過(guò)去一個(gè)月，騰訊混元大模型不僅各項(xiàng)能力均有升級(jí)，代碼、數(shù)學(xué)能力也大幅提升。經(jīng)過(guò)對(duì)32種主流語(yǔ)言代碼文件、各類計(jì)算機(jī)書籍和博客的學(xué)習(xí)增訓(xùn)，騰訊混元代碼處理水平提升超過(guò)20%，代碼處理效果勝出ChatGPT 6.34%，在HumanEval公開(kāi)測(cè)試集指標(biāo)上全面超過(guò)Starcoder、Codellama等業(yè)界頭部開(kāi)源代碼大模型。

只需輸入簡(jiǎn)單的指令如“幫我用前端語(yǔ)言實(shí)現(xiàn)一個(gè)貪吃蛇”，騰訊混元便能自動(dòng)生成可運(yùn)行的代碼，快速制作出一個(gè)貪吃蛇小游戲。此外，騰訊混元還支持Python、C++、Java、Javascript等多種語(yǔ)言的指令生成，比如輸入“用Python畫紅色的心形線”，騰訊混元會(huì)提供代碼庫(kù)選擇、安裝命令、繪制代碼等具體操作步驟的指引。

Prompt：用Python畫紅色的心形線

騰訊內(nèi)部目前已經(jīng)有多個(gè)開(kāi)發(fā)平臺(tái)接入了騰訊混元大模型，工程師們可以使用騰訊混元來(lái)進(jìn)行代碼生成、代碼補(bǔ)全、代碼漏洞檢測(cè)和修復(fù)、表格數(shù)據(jù)處理、數(shù)據(jù)庫(kù)查詢等工作。

比如，在IDE編程場(chǎng)景中，騰訊工蜂Copilot通過(guò)接入混元大模型，可根據(jù)注釋生成對(duì)應(yīng)代碼，或基于上下文智能補(bǔ)全代碼，大大提高了編程效率?；煸竽Ｐ瓦€可以幫助用戶進(jìn)行代碼漏洞檢測(cè)和修復(fù)，保障軟件開(kāi)發(fā)過(guò)程中的安全性。

騰訊混元大模型持續(xù)升級(jí)背后，離不開(kāi)騰訊自研一站式機(jī)器學(xué)習(xí)平臺(tái)Angel的支撐。自研AngelPTM訓(xùn)練框架可提供高效的分布式訓(xùn)練解決方案，具備業(yè)界領(lǐng)先的內(nèi)存利用率和訓(xùn)練吞吐效率，訓(xùn)練速度相比業(yè)界主流框架提升1 倍；自研AngelHCF訓(xùn)練框架，具備從蒸餾、微調(diào)、壓縮到模型加速的完整能力，支持多種模型并行，保證模型的最小化部署及最大化吞吐，推理速度相比業(yè)界主流框架FasterTransformer快1.3倍。

從2021年開(kāi)始，騰訊先后推出千億和萬(wàn)億參數(shù)的NLP稀疏大模型，打破CLUE三大榜單紀(jì)錄，實(shí)現(xiàn)在中文理解能力上的新突破。2023年9月混元大模型的亮相，代表騰訊在大模型理解和生成通路上的融合打通。隨著文生圖功能的出現(xiàn)，騰訊混元大模型加入了對(duì)圖像的處理能力，模態(tài)進(jìn)一步豐富。

大模型多模態(tài)交互能力被認(rèn)為是通往通用人工智能的必由之路，也是不斷擴(kuò)充大模型能力象限的一個(gè)重要方向。據(jù)介紹，騰訊混元大模型正在不斷強(qiáng)化圖片、視頻、音頻等各類模態(tài)的處理能力，相關(guān)成果也將很快面向外界推出。

雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。