「Sora 出來之后，團隊就開始連軸轉(zhuǎn)，沒休息過?！惯@是 AI 科技評論了解到的，目前國內(nèi)諸多 AIGC 創(chuàng)業(yè)公司的現(xiàn)狀。

Sora 的確讓世界范圍內(nèi)的創(chuàng)業(yè)公司措手不及。隨之而來的，有一種悲觀論調(diào)和懷疑態(tài)度：創(chuàng)業(yè)公司和 OpenAI 拼術是否有意義？是否有必要做同樣的事情？有多大的生存空間？

誠然，要彌合和 OpenAI 的差距并非易事，基于算力、投資等前提條件， OpenAI 的效果自然不是短期內(nèi)可以達到，但是也不見得到了技術層的創(chuàng)業(yè)公司無路可走的地步。

清華系創(chuàng)業(yè)團隊生數(shù)科技提出的技術路線，和 Sora 在架構(gòu)路線上完全一致，均是提出了將Transformer 與擴散模型融合的思路，在具體的實驗路徑上也一致。并且，生數(shù)科技的 U-ViT 比 OpenAI 的 DiT 早了兩個月。

甚至，彼時的 CVPR2023 選擇收錄了U-ViT，而將 DiT 拒稿。

目前，生數(shù)科技的多模態(tài)大模型全鏈路均自主訓練、自主研發(fā)，是全球首個將Transformer架構(gòu)引入擴散模型的骨干網(wǎng)絡。在文生圖、文生視頻、文生3D、圖生3D等多項任務中已經(jīng)初見成效。

近來，也完成了由啟明創(chuàng)投領投，達泰資本、鴻福厚德、智譜AI、老股東BV百度風投和卓源亞洲跟投的數(shù)億元融資，是目前國內(nèi)多模態(tài)大模型賽道的最高融資額。

生數(shù)科技 CEO 唐家渝表示，面對國內(nèi)多模態(tài)大模型的競爭，生數(shù)科技會承擔引領國內(nèi)底層技術創(chuàng)新的角色。

即使在 Sora 的籠罩下，國內(nèi)的多模態(tài)大模型也不無機會。

全棧自研的 MaaS

2023年3月，團隊開源了全球首個基于Diffusion Transformer架構(gòu)（U-ViT）的多模態(tài)擴散大模型 UniDiffuser，在參數(shù)量和訓練數(shù)據(jù)規(guī)模上，與Stable Diffusion直接對齊。在架構(gòu)上，UniDiffuser 比最近才采用 DiT 架構(gòu)的 Stable Diffsion 3 領先了一年。

除了單向的文生圖以外，Unidiffuser支持更通用的圖文任務，能夠?qū)崿F(xiàn)圖生文、圖文聯(lián)合生成、圖文改寫等多種功能。

在統(tǒng)一化架構(gòu)的思路下，生數(shù)科技持續(xù) Scale up。在圖文模型的訓練中，參數(shù)量從最早開源版的1B不斷擴展至3B、7B、10B及以上。同時在此基礎上，通過拓展空間維度和時間維度，逐步實現(xiàn) 3D 生成與視頻生成。同時面向應用層推出了視覺創(chuàng)意設計平臺PixWeaver與3D 資產(chǎn)創(chuàng)建工具 VoxCraft。

PixWeaver是一款自動化的視覺創(chuàng)作工具，支持AI生圖、AI生視頻功能，中英文輸入、秒級生成，融合多元風格，具備出色的語義理解和豐富的畫面表現(xiàn)。（體驗地址：https://pw.shengshu-ai.com/，目前AI視頻功能由于新版本迭代暫關閉試用）

在圖像生成方面，支持高質(zhì)量的文生圖，在畫面聯(lián)想豐富度、美觀性等方面優(yōu)于業(yè)內(nèi)同類模型。

并且，其語義理解能力尤其突出。

（描述詞：公園里的竹林里掛著紅色燈籠，旁邊盛開著粉紅色的梅花，遠處是一座亭臺樓閣，夕陽灑在蜿蜒的公園小路呈現(xiàn)出溫暖的感覺，寶麗來照片風格，真實攝影）

在3D 生成方面，VoxCraft可實現(xiàn)高精度與最快10秒級的模型生成。

并推出全球首個4D動畫生成，基于視頻和描述詞，輸出逐幀的運動3D動畫，自動綁定骨骼動作，支持360°全景視角。

此外，該模型還可以通過文本對話或手動調(diào)參的方式靈活編輯3D場景，包括添加物體、刪除物體等，可實時查看變化。

VoxCraft 相較于同類型的3D資產(chǎn)創(chuàng)建的自動化工具，核心優(yōu)勢在于：

精度高：貼圖分辨率可達到2048*2048，幾何結(jié)構(gòu)的規(guī)整度高，色彩與材質(zhì)質(zhì)感真實度高；

速度快：在單卡設備上，單個3D模型生成最快可在數(shù)分鐘內(nèi)生成；

可用性強：支持Mesh的同步生成，支持高模、低模的定制，可直接對接工業(yè)管線；

豐富度高：覆蓋資產(chǎn)類型多，通用性強，支持文本或圖像引導。

最接近 Sora 技術架構(gòu)的中國團隊

從技術架構(gòu)來看，生數(shù)科技是最接近于 Sora 的中國團隊。

OpenAI推出的Sora模型，其核心技術點之一，是將視覺數(shù)據(jù)轉(zhuǎn)化為Patch的統(tǒng)一表示形式，并通過Transformer和擴散模型結(jié)合，展現(xiàn)了卓越的scale特性。無獨有偶，最近發(fā)布的Stable Diffusion 3采用了同樣的架構(gòu)。

Transformer架構(gòu)被熟知應用于大語言模型，該架構(gòu)的優(yōu)勢在于scale特性，參數(shù)量越大，效果越好；而在傳統(tǒng)視覺任務（圖像和視頻生成）中，業(yè)內(nèi)普遍采用常規(guī)的卷積路線的擴散模型（基于SD開源的思路），該路線能實現(xiàn)一定的效果，但擴展性不好。DiT將Transformer架構(gòu)與擴散模型融合，把大語言模型的擴展性、涌現(xiàn)性復制到了視覺任務上。

其實早在2022年9月，生數(shù)科技團隊早期成員就提交了一篇名為《All are Worth Words: A ViT Backbone for Diffusion Model》的論文，這篇論文提出了基于transformer的網(wǎng)絡架構(gòu)U-ViT。

對比來看，兩項工作采用了相同的patch embedding、patch size，都得出了同樣的結(jié)論patch size為2*2是最理想的，在模型參數(shù)量上兩者都在50M-500M左右的參數(shù)量上做了實驗，最終都證實了scale特性。

不過DiT僅在ImageNet上做了實驗，U-ViT在小數(shù)據(jù)集（CIFAR10、CelebA）、ImageNet、圖文數(shù)據(jù)集MSCOCO均做了實驗。此外，相比傳統(tǒng)的 Transformer，U-ViT提出了一項“長連接”的技術，大大提升了訓練收斂速度。

但U-ViT同樣展示了在視覺任務下的優(yōu)異能力，與當時同階段的SD1.5 比較，Unidiffuser效果是基本持平的。更重要是，Unidifuser擴展性更強，能基于一個底層模型完成圖文之間的任意生成。

生數(shù)團隊的幾位核心成員近幾年于ICML、NeurIPS、ICLR 等人工智能頂會發(fā)表相關論文近30篇，是現(xiàn)階段在該領域發(fā)表論文成果數(shù)最多的國內(nèi)團隊。

抱持著底層算法原始創(chuàng)新、從零開始自主訓練的態(tài)度，生數(shù)科技團隊也形成了多項能與其他公司拉開差距的技術成果。

無訓練推理框架Analytic-DPM

擴散模型的一大局限是計算速度緩慢，研究加速算法是提升擴散模型應用效果的難點。

2022年，團隊核心成員提出了一種無訓練推理框架：Analytic-DPM，使用蒙特卡洛方法和預訓練的基于得分模型來估計方差和 KL 散度的分析形式。該方法可以在無需額外訓練的情況下，直接估計得到最優(yōu)方差，該成果在理論貢獻方面具有重要意義。

另外從應用效果看，免訓練推理框架的提出大大加速了模型的采樣效率，經(jīng)對比，Analytic-DPM經(jīng)過 50 步采樣的效果優(yōu)于 DDPM 采樣 1000 步的效果，加速了近 20 倍。

該論文被評選為ICLR2022杰出論文，也是該會議首篇由中國大陸單位獨立完成的獲獎論文，此外該成果也被OpenAI 應用于 DALL·E2 模型處理方差的策略中。

多模態(tài)基礎大模型 UniDiffuser

2023年3月，團隊開源國內(nèi)首個基于Transformer的多模態(tài)擴散大模型UniDiffuser，采用了基于transformer的網(wǎng)絡架構(gòu)U-ViT，在開源的大規(guī)模圖文數(shù)據(jù)集LAION-5B上訓練了一個十億參數(shù)量的模型，實現(xiàn)基于一個底層模型能夠高質(zhì)量地完成多種生成任務。雷峰網(wǎng)(公眾號：雷峰網(wǎng))雷峰網(wǎng)雷峰網(wǎng)

除了單向的文生圖，還能實現(xiàn)圖生文、圖文聯(lián)合生成、無條件圖文生成、圖文改寫等多種功能，能夠?qū)崿F(xiàn)任意模態(tài)之間的轉(zhuǎn)化，大幅提升文圖內(nèi)容的生產(chǎn)效率，也進一步提升了生成式模型的應用想象力。

更值得一提的是，從技術路線看，生數(shù)科技是國內(nèi)唯一的原生多模態(tài)大模型廠商，原生多模態(tài)是基于通用的融合架構(gòu)對文本、圖像、視頻等多模態(tài)數(shù)據(jù)進行統(tǒng)一范式的訓練，簡單類比就是基于一個底層架構(gòu)實現(xiàn)“GPT4+DALLE3+GPT4V”的統(tǒng)一，而不是通過接口調(diào)用不同的模型。生數(shù)科技堅持融合架構(gòu)的原生路線，致力于提升對開放域下復雜交互場景的信息生成能力。

本文作者長期關注 AIGC 落地應用、大模型和數(shù)字人領域，歡迎添加微信：s1060788086，交流認知，互通有無。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。