0
本文作者: 我在思考中 | 2024-09-03 14:01 |
近日,大模型創(chuàng)業(yè)公司階躍星辰在其開(kāi)放平臺(tái)體驗(yàn)中心,正式上線了圖像生成大模型 Step-1X,注冊(cè)即可體驗(yàn)。(指路鏈接:https://platform.stepfun.com/console-tools?model=step-1x-medium)
事實(shí)上,這款大模型之前已經(jīng)備受期待。在 7 月份舉行的 2024 世界人工智能大會(huì)上,階躍星辰一口氣發(fā)布了萬(wàn)億參數(shù)語(yǔ)言大模型 Step-2、多模態(tài)大模型 Step-1.5V 和圖像生成大模型 Step-1X 三款大模型,并且跟上海電影夢(mèng)幻聯(lián)動(dòng),基于經(jīng)典 IP《大鬧天宮》開(kāi)發(fā)了 H5 互動(dòng)體驗(yàn)“測(cè)測(cè)你是哪路神仙”。據(jù)了解,《大鬧天宮》可用于訓(xùn)練的數(shù)據(jù)資源稀缺,但 Step-1X 圖像生成大模型只用了極其少量的數(shù)據(jù),就實(shí)現(xiàn)了質(zhì)量可觀的生成效果。
Step-1X 重點(diǎn)打磨了深度語(yǔ)義對(duì)齊能力和細(xì)節(jié)生成能力,采用全鏈路自研的 DiT(Diffusion Models with transformer)模型架構(gòu),能深度理解復(fù)雜指令下的含義,比如多主體和復(fù)雜場(chǎng)景背后的邏輯關(guān)系、情感和文化內(nèi)涵。Step-1X 還支持高達(dá) 2000 個(gè)字符的圖片生成指令,能讓圖文精準(zhǔn)匹配,靈活滿足廣告創(chuàng)意、游戲美術(shù)、影視制作、產(chǎn)品設(shè)計(jì)、教育輔助等不同場(chǎng)景下的創(chuàng)作需求。另外,Step-1X 針對(duì)中國(guó)元素和文化進(jìn)行了深度優(yōu)化,在處理中國(guó)風(fēng)內(nèi)容時(shí)具有獨(dú)特優(yōu)勢(shì),能更好地演繹出背后的文化精髓。
Step-1X 發(fā)布后,不少用戶已經(jīng)率先玩起了創(chuàng)意,從大家的體驗(yàn)圖中我們也觀察到了這款大模型在不同創(chuàng)作場(chǎng)景下的生成效果:
詩(shī)畫(huà)創(chuàng)作
讓大模型為古詩(shī)詞配圖,挑戰(zhàn)在于是否能精準(zhǔn)理解古詩(shī)中描繪的象征性事物,并捕捉和抒發(fā)出詩(shī)詞背后的意境和詩(shī)人蘊(yùn)含其中的情感。
“疏影橫斜水清淺,暗香浮動(dòng)月黃昏”,圖片描繪出了梅花照水,在月光下暗香浮動(dòng)的唯美和靜謐。
“采菊東籬下,悠然見(jiàn)南山”,有縱深感的繪畫(huà)視角與“遠(yuǎn)遠(yuǎn)看到南山”的含義相應(yīng)和,明朗柔和的用色體現(xiàn)出了陶淵明詩(shī)詞背后豁達(dá)開(kāi)闊的心境。
“浪跡江湖白發(fā)新,浮云一片是吾身”,Step-1X 用國(guó)風(fēng)動(dòng)漫風(fēng)進(jìn)行了刻畫(huà),設(shè)計(jì)了一個(gè)背對(duì)畫(huà)面的人物,站在高處遠(yuǎn)眺壯闊的云海,去表達(dá)浪跡江湖的恣意灑脫。
故事繪本
越來(lái)越多作家開(kāi)始用 AI 寫(xiě)小說(shuō)、配插圖,也有用戶通過(guò)給 Step-1X 描述劇情,創(chuàng)作屬于自己的故事繪本。比如:
故事:女孩的神秘探險(xiǎn)
1. 一個(gè)未來(lái)的水下城市中,女孩戴著透明頭罩,穿梭在閃爍著藍(lán)綠色光芒的隧道里。她周圍是高聳的珊瑚建筑和游弋的海洋生物。頭罩內(nèi)的智能系統(tǒng)實(shí)時(shí)分析環(huán)境,她的任務(wù)是探索這片充滿未知的海底世界以及體驗(yàn)深海帶來(lái)的神秘與孤獨(dú)感。
2. 一個(gè)未來(lái)的水下城市中,女孩戴著透明頭罩,穿著黑藍(lán)色的高科技質(zhì)感的潛水服,她四肢修長(zhǎng),在海里像一個(gè)優(yōu)美的美人魚(yú)。她發(fā)現(xiàn)海底世界邊緣某處閃著耀眼的金光,似乎是一處寶藏,她向?qū)毑氐姆较蛴稳ァ_h(yuǎn)景鏡頭。
3. 一個(gè)未來(lái)的水下城市中,在水下城市的最深處,美麗的女孩戴著透明頭罩,穿著黑藍(lán)色的高科技質(zhì)感的潛水服,她發(fā)現(xiàn)了海底的寶藏,寶藏放在一個(gè)破舊的箱子里金光閃閃,寶藏后面隱藏著一只兇猛的巨獸。
古風(fēng)人物
Step-1X 在生成古代人物時(shí),對(duì)富有歷史感的服飾體現(xiàn)出了像素極的把握,比如在這幅鳳冠霞帔的女子畫(huà)面中,飾品上的紋路都清晰可見(jiàn)。
現(xiàn)代人物
用 Step-1X 生成現(xiàn)代人物的視覺(jué)圖像,對(duì)女孩子發(fā)絲、雀斑、唇紋的描繪細(xì)致入微,且圖像就定格在水滴滑落的瞬間,有了時(shí)間感。
動(dòng)畫(huà)英雄
用 Step-1X 生成動(dòng)畫(huà)英雄人物的形象,Step-1X 交的答卷展現(xiàn)出了幾種對(duì)英雄的刻畫(huà)方式:耀眼的、眼神堅(jiān)毅的、在沖突性場(chǎng)景中對(duì)抗對(duì)手的。
藝術(shù)畫(huà)作
Step-1X 可以為用戶指定的創(chuàng)作元素賦予不同藝術(shù)流派的風(fēng)格,這背后是文生圖大模型對(duì)藝術(shù)家風(fēng)格的捕捉和理解能力。比如模仿印象派大師莫奈創(chuàng)作的花海,抓住了光影輪廓線模糊化、色彩透明度高的特點(diǎn),演繹出印象派抒情的畫(huà)風(fēng)。而模仿達(dá)利創(chuàng)作的圖片,捕捉了超現(xiàn)實(shí)主義荒誕不羈的特色,呈現(xiàn)了一個(gè)內(nèi)容魔幻的動(dòng)物茶話會(huì)。
生動(dòng)有趣的動(dòng)物刻畫(huà)
在對(duì)動(dòng)物形象的描繪中,Step-1X 呈現(xiàn)出了細(xì)膩的畫(huà)風(fēng),而且動(dòng)物在刻畫(huà)中被賦予了或可愛(ài)或威武的人格。
隱藏玩法
階躍星辰官方公眾號(hào)還披露了兩個(gè)隱藏玩法,能讓生圖效果獲得加成:
1. 在 Prompt 中融入咒語(yǔ)「令人嘆為觀止的細(xì)節(jié),逼真的畫(huà)面」,讓圖片的寫(xiě)實(shí)程度進(jìn)一步提升。圖片中對(duì)古典中國(guó)園林的刻畫(huà)極致入微,能細(xì)致到每片葉子,巴黎街道的長(zhǎng)曝光圖片也跟單反相機(jī)拍攝效果有的一拼。
古典中國(guó)園林景象
巴黎街道的長(zhǎng)曝光照片
2. 用智能助手「躍問(wèn)」完善 Prompt
階躍星辰開(kāi)發(fā)的智能助手「躍問(wèn)」搭載了 Step-1.5V 多模態(tài)大模型,識(shí)圖能力 Max。把圖片發(fā)給躍問(wèn)(yuewen.cn),配以下 Prompt,使用新得到的 Prompt 進(jìn)行文生圖創(chuàng)作:"你是一個(gè)文生圖模型的提示詞專家,你善于通過(guò)圖片分析內(nèi)容里面的人物形象、環(huán)境、背景、圖片風(fēng)格、色調(diào)等信息,然后以此為基礎(chǔ)創(chuàng)作文生圖模型的提示詞。" 比如下面兩張圖,基于躍問(wèn)識(shí)圖和 Step-1X 文生圖能力,生成了一張與原圖中人物動(dòng)作、情感都十分類似的圖片。
原圖
Step-1X 生成圖
另外,除了上線圖像生成大模型 Step-1X ,階躍星辰開(kāi)發(fā)平臺(tái)近期還迎來(lái)了多項(xiàng)更新,包括:
? 發(fā)布極速版模型 Step-1-flash。Step-1-flash 是一款高性價(jià)比模型,可支持的上下文長(zhǎng)度為 8k,相對(duì)于此前發(fā)布的 Step-1 語(yǔ)言大模型首字延遲降低 25%,輸出速度是 Step-1 的 1.7 倍。
? 開(kāi)放平臺(tái)體驗(yàn)中心上線,體驗(yàn)中心具有直觀的用戶界面,無(wú)需編寫(xiě)任何代碼即可體驗(yàn)階躍星辰旗艦?zāi)P汀?/p>
? 上線了應(yīng)用開(kāi)發(fā)指南,根據(jù)開(kāi)發(fā)者碰到的高頻問(wèn)題,提供大模型應(yīng)用開(kāi)發(fā)的最佳實(shí)踐指導(dǎo)和代碼示例。目前已經(jīng)上線了關(guān)于文生圖、 Json Mode、Prompt Engineering、流式輸出、多輪對(duì)話、異常處理和 Tool Call 的內(nèi)容。
要迎來(lái) AI 應(yīng)用的井噴式爆發(fā),先決條件是底層大模型創(chuàng)新公司能堅(jiān)持探索技術(shù)邊界,通過(guò)生態(tài)開(kāi)放實(shí)現(xiàn)技術(shù)普惠,無(wú)限降低開(kāi)發(fā)者的使用門檻。階躍星辰正在這條路上持續(xù)加碼,除了快速迭代模型產(chǎn)品,階躍星辰也面向 AI 應(yīng)用開(kāi)發(fā)者推出了“繁星計(jì)劃”,提供免費(fèi) tokens、技術(shù)支持、孵化器服務(wù)、行業(yè)資源對(duì)接等一系列支持和服務(wù)。
歡迎體驗(yàn) Step-1X 文生圖功能,https://platform.stepfun.com/console-tools?model=step-1x-medium
雷峰網(wǎng)(公眾號(hào):雷峰網(wǎng))
雷峰網(wǎng)版權(quán)文章,未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。