從沒想過中國(guó)第一個(gè)讓國(guó)外網(wǎng)友求著開放會(huì)員訂閱通道的AI應(yīng)用居然是出自快手。

在經(jīng)歷一個(gè)多月的狂奔吸引上百萬人排隊(duì)內(nèi)測(cè)之后快手可靈終于全面開放，最有意思的是直到開放測(cè)試之前還有網(wǎng)友表示自己沒排進(jìn)去內(nèi)測(cè)。

狗BEE 提示詞：長(zhǎng)著小狗身體的蜜蜂在花叢中飛

而在內(nèi)測(cè)過程中，中外網(wǎng)友則經(jīng)歷了身份互換，外網(wǎng)用戶也體驗(yàn)了一把之前國(guó)內(nèi)網(wǎng)友求手機(jī)號(hào)注冊(cè)chatgpt的辛酸。好在可靈上周宣布開啟全球測(cè)試。網(wǎng)友以為好日子到了，結(jié)果畫風(fēng)如下。

運(yùn)氣好的第一批用戶已經(jīng)開始各種腦洞大開。

但大部分外國(guó)網(wǎng)友正在經(jīng)歷每個(gè)爆款應(yīng)用都會(huì)遇到的體驗(yàn)。內(nèi)測(cè)一號(hào)難求 → 公測(cè)卡在注冊(cè)界面 → 成功注冊(cè)發(fā)現(xiàn)服務(wù)器過載。感恩快手讓外國(guó)網(wǎng)友再次體驗(yàn)了一次。

最有意思的是這些人3小時(shí)出不來一條視頻，除了抱怨慢，體驗(yàn)了視頻生成的效果之后更多的人在說趕快出訂閱計(jì)劃，我要花錢！

因?yàn)橛杏脩舭l(fā)現(xiàn)可靈中國(guó)版出了訂閱計(jì)劃。換算價(jià)格后發(fā)現(xiàn)33軟妹幣一個(gè)月?lián)Q66個(gè)時(shí)長(zhǎng)5秒的視頻，相當(dāng)于一條視頻只要5毛。這個(gè)單價(jià)擊穿了之前的價(jià)格地板pika（一條視頻8毛）。

可靈視頻：熊鷹展翅

當(dāng)然寫這篇文章不止是為了講可靈火，更重要的憑什么是它？AI視頻下半場(chǎng)比賽誰能解決sora之前暴露出來的問題然后更專業(yè)的服務(wù)于影視從業(yè)人員？

素材源自網(wǎng)絡(luò)

現(xiàn)在大家看到火的AI視頻形式千篇一律。比如跨越時(shí)空擁抱、菌子中毒、人突然變身等等。但我相信大部分人使用工具時(shí)，都會(huì)發(fā)現(xiàn)AI很難通過言語將我們的腦洞具現(xiàn)化。這也是sora之前暴露出來的問題之一。AI視頻下半場(chǎng)比賽更重要的是誰能服務(wù)影視行業(yè)工作流？

現(xiàn)在我們把pika、LUMA、可靈、智譜清影、愛詩(shī)科技pixverse拉一塊同臺(tái)PK一下，讓大家直觀感受一下各自的能力。新玩家pk老玩家，究竟是新王登基，還是舊王不朽。

文生視頻語義理解測(cè)試

測(cè)試將分為兩個(gè)板塊，首先進(jìn)行文生視頻的測(cè)試，針對(duì)可靈、智譜清影的提示詞將使用中文，其他外文軟件將通過谷歌翻譯后進(jìn)行。

空間理解測(cè)試

中文提示詞：兩只擬人化的狗在擂臺(tái)進(jìn)行拳擊，左邊的狗用黑色的拳套，右邊的狗用紅色的拳套。

英文提示詞：Two anthropomorphic dogs fight in a ring, the one on the left wearing black gloves and the one on the right wearing red gloves.

這道題主要測(cè)試AI能否讓左邊的狗是黑色拳套，右邊的狗是紅色拳套，同時(shí)兩只狗擬人化的在進(jìn)行拳擊比賽。

從結(jié)果來看可靈強(qiáng)到我要逐幀觀看。短短5秒兩狗進(jìn)行了3次激烈的攻防戰(zhàn)，開頭黑狗迅速低頭躲避黃狗的拳同時(shí)出拳反擊被黃狗格擋。之后黑狗前傾準(zhǔn)備二次進(jìn)攻被黃狗抓住破綻，頭都被打歪了（這是物理意義上的受擊反饋，而不是虛空躲空氣，屬于加分項(xiàng)），第三次吸取教訓(xùn)低頭前傾進(jìn)攻。

由于沒有限定視頻風(fēng)格，清影答卷采用了動(dòng)畫風(fēng)格，但也是左黑右紅并且擬人化打拳擊賽。

接下來到愛詩(shī)科技pixverse，雖然狗也帶拳套，但顏色出錯(cuò)....并且兩只狗好像含情脈脈？

LUMA倒是做到左黑右紅了，但拳套顏色一直在變....而且說好的兩狗打架，怎么有只狗進(jìn)化成人了？

pika倒是很干脆，擂臺(tái)也沒有，拳套也沒有，左邊的狗一直摸右邊狗也不知道圖啥。

接著測(cè)試前后理解。

中文提示詞：正面拍攝，長(zhǎng)焦，一只倉(cāng)鼠賣力地蹬著一輛自行車，在倉(cāng)鼠身后一只很肥的橘貓正在追趕倉(cāng)鼠。

英文提示詞：Front shot, long focus, a hamster pedaling hard on a bicycle, behind the hamster a very fat orange cat is chasing the hamster.

在這個(gè)環(huán)節(jié)，可靈的貓有種龜兔賽跑的感覺，感覺像是倉(cāng)鼠在蹬自行車，貓從倉(cāng)鼠后面路過，倉(cāng)鼠聞到貓的氣味后有個(gè)驚訝的表情，然后開始賣力蹬車。但沒有符合追趕這個(gè)設(shè)定，而且這胖橘長(zhǎng)得鼠里鼠氣會(huì)不會(huì)是吃了鴨脖？

清影我認(rèn)為是這一場(chǎng)的MVP，透過畫面就能感覺到倉(cāng)鼠很賣力蹬車，胖橘追的也很猛，而且畫面還做了虛化的效果，突出倉(cāng)鼠這個(gè)主體。

LUMA在這里再次抽風(fēng)，正面拍攝的機(jī)位沒了，倉(cāng)鼠已經(jīng)消失不見，橘貓以一種詭異的姿勢(shì)趴在自行車上，我就想問這車輪摩擦著貓不會(huì)覺得哪里不舒服嗎？

pika咋說呢，表現(xiàn)比LUMA好一點(diǎn)，就是兩個(gè)主角對(duì)了......但也只是對(duì)了人，畫面內(nèi)容直接跑題。

pixverse這次表現(xiàn)也比LUMA和pika好，至少符合生成需求，就是倉(cāng)鼠的個(gè)頭比貓大了很多，然后畫面用了慢動(dòng)作看不出緊張刺激的追逐感。

接著是單個(gè)主體指定運(yùn)動(dòng)方向的測(cè)試。

中文提示詞：固定機(jī)位，側(cè)面拍攝，一個(gè)頭被氣球替代的男人從廣場(chǎng)左邊跑到廣場(chǎng)右邊。

英文提示詞：Fixed position, side shot, a man with his head replaced by a balloon runs from the left to the right of the square.

可靈的表現(xiàn)居然爆冷了，前面還分得清楚左右的，到這里卻左右不分，變成從廣場(chǎng)右邊跑到左邊。

清影咋說呢.....跟可靈一樣的表現(xiàn)，區(qū)別就是可靈用于訓(xùn)練的視頻數(shù)據(jù)估計(jì)比清影高清很多，所以對(duì)比起來清影略微遜色，但這個(gè)問題后面會(huì)提到，最重要的還是要符合需求。

pixverse倒是理解了從左往右跑，但變成了人物追氣球，這里希望的是一個(gè)頭變成氣球的男人。

LUMA同樣左右不分，然后還變成人手里拿著氣球。

PIKA放棄參賽，要的是側(cè)面固定機(jī)位拍攝人從左往右跑，結(jié)果他一直是跟隨機(jī)位，人物對(duì)著鏡頭跑，生成的人物也不符合要求。
這一輪對(duì)比下來，其實(shí)可靈、清影還算符合要求，用工具鏡像一下就行，其他的軟件就只能繼續(xù)抽盲盒了。

腦洞能力測(cè)試

中文提示詞：正面拍攝，一只熊貓和喜鵲組合而成的鳥類生物站在樹枝上，高速扇動(dòng)翅膀。

英文提示詞：Front shot, long focus, a hamster pedaling hard on a bicycle, behind the hamster a very fat orange cat is chasing the hamster.

這是可靈生成的畫面，我稱之為“熊鷹展翅”，不得不說在這一方面sora不出，可靈獨(dú)占鰲頭。

清影：大家快看，我長(zhǎng)翅膀了，我給大家舞一個(gè)。

pixverse這一波表現(xiàn)不錯(cuò)，雖然在轉(zhuǎn)身的時(shí)候有一定瑕疵，但至少形象保持住了同時(shí)動(dòng)作也有在執(zhí)行。

LUMA咋說呢，其實(shí)第一眼觀感不錯(cuò)，但沒有按照要求高速扇動(dòng)翅膀。而且它轉(zhuǎn)身的那一刻，像極了會(huì)易容術(shù)的女孩卸妝，主打一個(gè)轉(zhuǎn)瞬即逝。

PIKA生成的畫面我認(rèn)為沒有偏題，只是鳥的占比比熊貓的占比高，但問題在于沒按要求高速扇動(dòng)翅膀。

鏡頭運(yùn)鏡理解

接下來進(jìn)行運(yùn)鏡理解測(cè)試，眾所周知，不管是文生視頻還是圖生視頻，除了一些軟件有給出運(yùn)鏡選項(xiàng)，大部分時(shí)候要怎么運(yùn)鏡還是得靠語言描述，而運(yùn)鏡在工作流中又是相當(dāng)重要的。

中文提示詞：低角度向上推進(jìn)，一只熊貓坐在墻上彈吉他。

英文提示詞：Thrust upward at a low Angle, a panda sits on the wall playing guitar.

可靈這一波雖然是有從低角度向上推進(jìn)，但缺失了坐在墻上這個(gè)細(xì)節(jié)。其實(shí)我希望的是它能從坐在墻上這句話反推出最開始畫面應(yīng)該是有一面墻，然后隨著鏡頭的位移再出現(xiàn)熊貓彈吉他。

這一點(diǎn)清影就完美做到了，但對(duì)比可靈來說還是輸在了數(shù)據(jù)集。雖然清影用的是動(dòng)畫畫風(fēng)，但墻面出現(xiàn)了明顯的扭曲。不過如果從工具的角度來看，清影這一波比可靈強(qiáng)，就看后期團(tuán)隊(duì)能不能加強(qiáng)高清數(shù)據(jù)集的投入了。

pixverse直接放棄理解，答卷對(duì)一半也能拿一半分不是？

LUMA：運(yùn)鏡了，把自己運(yùn)迷糊了，吉他也不彈了。

Pika：放棄參賽是我自愿的。

為什么我在上面強(qiáng)調(diào)工具性的優(yōu)勢(shì)要大于數(shù)據(jù)集？因?yàn)槲蚁嘈啪拖窭嫌螒蚋咔寤粯?，?shù)據(jù)集這種東西肯花時(shí)間肯定能有，但如果理解問題出錯(cuò)了，大模型的幻覺是很難修正的。比如下面的例子，當(dāng)有高清數(shù)據(jù)集時(shí)，比拼的就是理解能力。

中文提示詞：低角度向上推進(jìn)，緩緩抬頭，一只豬突然趴到墻上盯著你。

英文提示詞：Push up at a low Angle, slowly look up, and suddenly a pig is sitting on the wall staring at you.

這一次相較上面的測(cè)試加了一個(gè)緩緩抬頭，加大運(yùn)鏡在提示詞中的權(quán)重。

結(jié)果可靈只有一只豬趴在墻上咀嚼東西。

清影完美詮釋低角度向上推進(jìn)、緩緩抬頭，一只豬趴在墻上盯著鏡頭。而且清晰度也拉滿了。

pixverse雖然生成了豬，但其他需求也沒達(dá)標(biāo)，挺可惜的，前面的各種前后左右關(guān)系理解還可以的。

LUMA這一波硬氣了，確實(shí)有鏡頭位移。但只是單純的推進(jìn)沒有從低角度向上移，而且這頭“豬”也沒趴在墻上。我懷疑LUMA的數(shù)據(jù)集是不是有什么特殊癖好，上面要生成狗他就狗變?nèi)?。這次要生成豬，就來了一手豬人.....雖然挺自然的就是了....

Pika我已經(jīng)默認(rèn)放棄參加比賽了......在這一關(guān)的測(cè)試中，我相信可靈應(yīng)該是綜合能力第一。首先視頻夠高清，左右理解、前后理解都很到位。但智譜新推出的清影我認(rèn)為潛力不比可靈差，人家輸在了視頻清晰度，而語義理解猶在可靈之上。pixverse表現(xiàn)可以排到第三，比兩個(gè)老牌AI視頻好一點(diǎn)。LUMA大家也看到了，在持續(xù)更新了快一年，表現(xiàn)也就那樣，pika直接就是勿cue。所以在AI視頻這個(gè)賽道上，國(guó)產(chǎn)的軟件已經(jīng)某種意義上比外國(guó)的LUMA更適合作為工具。

圖生視頻測(cè)試

那既然文生視頻搞不定，我做好圖片用圖生視頻不就行了？我想說AI無法通過語言想象出來的東西，給他一張圖片他也不知道怎么處理。而且運(yùn)鏡、各種左右前后運(yùn)動(dòng)的理解同樣需要語言理解支持。所以圖生視頻還多了一些測(cè)試點(diǎn)，那就是AI能否準(zhǔn)確識(shí)別圖中的東西從而對(duì)應(yīng)文字進(jìn)行視頻生成。

中文提示詞：老人吃手里的手機(jī)，大口咀嚼。

英文提示詞：The old man ate the phone in his hand and chewed it.

這是可靈的表現(xiàn)，這里主要測(cè)試AI能否準(zhǔn)確理解“吃手里的手機(jī)”這一動(dòng)作，即軟件能否找到圖片里手中的手機(jī)并往嘴里喂，而不是虛空生成“手”以及“手機(jī)”往嘴巴里喂。

清影的表現(xiàn)比可靈差一些，但還是知道張嘴去啃手里手機(jī)的。

pixverse生成的是老人在聞手機(jī)，一臉痛苦，估計(jì)他也知道這東西難以下嘴。但至少知道去靠近手里的手機(jī)。

LUMA全程痛苦臉看手機(jī)，完全跟動(dòng)作沒關(guān)系。

這是pika的表現(xiàn)，手沒動(dòng)，嘴巴好像罵的很難聽，一眼萬年，一言難盡....接下來提高難度。

中文提示詞：挖掘機(jī)挖地

英文提示詞：Excavator excavation.

大家也看出來了這不是傳統(tǒng)意義上的挖掘機(jī)，而是打破了物種生殖隔離的挖掘機(jī)，看看AI能不能識(shí)別出挖掘機(jī)的部分，在不崩壞動(dòng)物身體的前提下完成動(dòng)作。

可靈的表現(xiàn)還是可以的，包括脖子上機(jī)械結(jié)構(gòu)的運(yùn)動(dòng)都有展現(xiàn)出來。

清影的表現(xiàn)也不錯(cuò)，就是這挖掘機(jī)有點(diǎn)變成抓手了，但好歹是完成了指令動(dòng)作，同時(shí)也有看起來合理的機(jī)械運(yùn)動(dòng)。

pixverse這是把挖斗當(dāng)成嘴了吧，直接把東西“咬”上來的。但至少是在動(dòng)。

LUMA我認(rèn)為這次的表現(xiàn)最好，因?yàn)橄噍^于可靈和清影，長(zhǎng)頸鹿本身有了運(yùn)動(dòng)，挖掘工作也在同步進(jìn)行，這樣子讓這個(gè)怪異生物體看起來很自然。就是腿消失了一條....

pika：我不動(dòng)我就不會(huì)露餡。接著測(cè)試多人物中左右辨別能力和表情控制能力。

中文提示詞：左邊的女人哭，右邊的女人笑。

英文提示詞：The woman on the left rolls her eyes and the woman on the right laughs.

可靈表現(xiàn)不理想，紫薇沒翻白眼，倒是像在說“***，忘刷牙齒了?！?/p>

清影的表現(xiàn)也不理想，不過容嬤嬤像是在喊“不~~~~~~~~紫薇！”

pixverse：一起來織毛衣啊。

LUMA的表現(xiàn)暴露出了一個(gè)問題，就是表情控制沒到位，同時(shí)由于歐美面孔數(shù)據(jù)過多，人物都變成歐美妝容和五官了。

pika：微微動(dòng)一下，表示盡力了。這一關(guān)中，可靈、清影在圖片物體識(shí)別、動(dòng)作執(zhí)行里表現(xiàn)得相當(dāng)?shù)轿?，其他app的表現(xiàn)只能說是廢片。LUMA長(zhǎng)頸鹿挖掘機(jī)也可圈可點(diǎn)。不過大家集體倒在左右人物表情控制這一關(guān)，全部亂來。LUMA還變成了外國(guó)人臉。

sora的問題

測(cè)試了那么多，肯定就有小伙伴問了，整這些花里胡哨的干啥？其實(shí)上面的測(cè)試全是從用sora制作氣球男孩的團(tuán)隊(duì)shykids分享的sora的各種問題作為出發(fā)點(diǎn)進(jìn)行測(cè)試的。

據(jù)他們介紹當(dāng)時(shí)團(tuán)隊(duì)已經(jīng)規(guī)劃好氣球男孩的劇本，openAI要求他們2周內(nèi)交出成果。但這個(gè)過程卻遇到了大問題。團(tuán)隊(duì)花50個(gè)小時(shí)（最保守估計(jì)）生成三百多個(gè)視頻，最終只能在推翻原本大綱的情況下拼湊出80秒的畫面。

有小伙伴好奇，不是有2周嗎？是的，那50個(gè)小時(shí)之后他們都在用AE修改畫面和Topaz超分畫面。具體地問題有如下：sora只能打字讓AI生成視頻，雖然引入了gpt處理文字，輔助sora理解用戶意圖。但只能勉強(qiáng)在單條視頻保持角色一致性。即使后面用同一段提示詞，得到的視頻畫面也完全不一樣。

比如在廣場(chǎng)奔跑這個(gè)鏡頭，文字要求的是，黃色氣球人穿著正裝從廣場(chǎng)左邊跑向右邊，生成的卻是，頭頂紙袋的人追紅色氣球?；蛘咭粋€(gè)通靈的衣服拉著氣球裸奔。團(tuán)隊(duì)只能通過AE對(duì)一個(gè)勉強(qiáng)能用的素材進(jìn)行調(diào)整。

再比如人臉和玩滑板畫面，AI會(huì)在氣球上印人臉，甚至直接讓人頂著氣球玩。而且由于訓(xùn)練集的原因AI對(duì)很多東西都有刻板印象，比如氣球一定要被線拉著導(dǎo)致他們后期要用AE處理。畫面的不確定性導(dǎo)致氣球人這部短片不能按照原定的劇本拍攝，團(tuán)隊(duì)只能邊生成素材邊敲定劇本。整體內(nèi)容方向改為以人的成長(zhǎng)經(jīng)歷為軌跡，從小孩到成年的日常生活為主，所以你看到的畫面雖然有主線但基本都是生活碎片。

同時(shí)生成素材很花時(shí)間，sora可以選擇生成3秒到60秒的畫面，但時(shí)間越長(zhǎng)畫面越不穩(wěn)定。其中3~20秒的畫面通常要10到20分鐘來生成，團(tuán)隊(duì)至少生成了300多個(gè)片段，每個(gè)片段生成時(shí)間按最低的10分鐘算也要花上50小時(shí)。因此為了加速制作過程，團(tuán)隊(duì)只要求AI生成480P的畫面，再用Topaz工具提升畫面分辨率。

盡管如此，最終得到的素材總時(shí)長(zhǎng)約1.2小時(shí)，經(jīng)過篩選和加工卻只能得到80秒的畫面。另一個(gè)問題就是AI很喜歡生成慢動(dòng)作視頻。盡管提示詞里沒有要求慢動(dòng)作，很多視頻看起來都是0.5倍速播放，導(dǎo)致團(tuán)隊(duì)要花時(shí)間調(diào)整節(jié)奏。

AI視頻工具的將來絕對(duì)是要走進(jìn)影視工作者的工作流當(dāng)中，才真正有生存之地。目前來看sora并不具備這種能力，我們所有看到的畫面只是openAI精心篩選的團(tuán)隊(duì)參與。這就像花了幾百萬雇張藝謀的團(tuán)隊(duì)拿蘋果手機(jī)拍視頻來證明手機(jī)視頻錄制的能力，我不否認(rèn)蘋果的能力，但真正厲害的還是團(tuán)隊(duì)。

同等條件下，可靈、清影甚至是愛詩(shī)科技這些明面上中國(guó)企業(yè)的后來者，如果去溯源的話你會(huì)發(fā)現(xiàn)技術(shù)發(fā)展路線可以追溯到兩三年前，甚至sora同款的DiT技術(shù)我們也是同時(shí)期研發(fā)。

在這一次的對(duì)比中可以看到老牌的AI視頻工具在近一年的長(zhǎng)跑中并沒能保持住領(lǐng)先的優(yōu)勢(shì)，反而有種日暮西山的感覺。當(dāng)了半年期貨的sora我認(rèn)為短時(shí)間難以成為外國(guó)版可靈，而可靈狂奔一個(gè)月已經(jīng)在世界舞臺(tái)上成為中國(guó)版sora，隨著時(shí)間的發(fā)展也許大家需要的不再是sora，而是可靈、清影......雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))

參考鏈接：

https://x.com/shykids/status/1773392341455253752

https://www.technologyreview.com/2024/03/28/1090266/how-three-filmmakers-created-soras-latest-jaw-dropping-videos/

https://www.tomsguide.com/ai/ai-image-video/remember-the-ballon-head-sora-video-it-wasnt-all-ai-generated-after-all

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。