時隔一年半，OpenAI 直接玩了個大的，把文生圖和 ChatGPT 做了結合，帶著最新版本 DALL·E 3 來了。

DALL·E 3 的巨大飛躍主要體現在兩大方面。

第一，只需要提示詞，ChatGPT 可自動對詞語進行拓展，極大地弱化了提示工程的約束，生成圖畫細節(jié)更多、描述更精準。

第二，Chat GPT 原生，模型在理解用戶指令及將文本轉化為圖片的能力增加了。OpenAI 表示，DALL·E 3 比以往系統(tǒng)更能理解細微差別和細節(jié)，讓用戶更加輕松地將自己的想法轉化為非常準確的圖像。

可以看到，DALL·E 3 不僅在推理能力上更強大了，同時用起來也更加簡單，給了大家無限的創(chuàng)作可能性。

DALL·E 3 的巨大飛躍

DALL·E 3 最大的突破，無疑是將文生圖模型與 ChatGPT 的結合，極大地降低了提示詞的門檻。

用戶只需要輸入簡單的詞語，ChatGPT 可自動對提示詞進行擴展、生成定制的詳細提示，從簡單的句子到詳細的段落，勾畫出一副細節(jié)感滿滿的畫面。

來看幾張由 DALL·E 3 生成的圖片：

滿月映照下的繁華都市街道，熙熙攘攘的行人正享受著夜生活。

在街角的攤位上，一位滿頭紅發(fā)、身著天鵝絨斗篷的年輕女子正在與脾氣暴躁的老攤主討價還價。

這位脾氣暴躁的小販身材高大、為人老練，他穿著筆挺的西裝、留著引人注目的小胡子，正興致勃勃地用他的蒸汽朋克電話在交談。

擬人化的秋葉組成了一支民間樂隊，在鄉(xiāng)村的森林中，它們演奏著傳統(tǒng)的藍草音樂，點綴著滿月撒下的柔和月光。

荔枝紋風格的球形椅子，具有凹凸不平的白色外觀和豪華的內部，襯托著熱帶壁紙。

精彩的細節(jié)刻畫，加上精致的圖像畫面，可以看到，DALL·E 3 在弱化了提示詞約束的同時，還具備了 ChatGPT 原生的優(yōu)勢，用語言指導大型神經網絡執(zhí)行各種文本生成任務。

目前來看，DALL·E 3 在理解用戶命令和文生圖方面都展現了更為出色的能力，這也是此前 AIGC 領域存在的短板之一。一位 OpenAI 研究員也表示，語言的進步使 DALL·E 3 能夠更好地解析復雜指令，避免混淆詳細請求中的元素。

而如果出現圖像與文本描述不相符的情況時，用戶可在 ChatGPT 中隨時進行調整。

關于 DALL·E 3 更多細節(jié)，Sam Altman 還分享了一個可愛的宣傳視頻。

視頻中，家長通過向 ChatGPT 提問“5 歲小朋友口中的‘超級向日葵刺猬’的樣子是什么樣？”，獲得了四段不同風格的提示詞，并由 DALL·E 3 生成對應圖像。

由用戶選定了圖像風格、并為小刺猬起名 Larry 后，ChatGPT 又為故事添加了更多豐富的元素，包括森林的背景、小房子、以及帶有 Larry 名字的小信箱等等，ChatGPT 綜合了前面的信息后，還可以生成一個完整的故事情節(jié)。

可以說，從童話故事到插圖，ChatGPT 和 DALL·E 3 全包了！有網友評價稱，Sam Altman 放出的小刺猬 demo 視頻，是《30 分鐘做一本兒童繪本》的實例。

而與此前 DALL·E 系列模型相比，根據同一句提示詞“一名籃球運動員扣籃、被描繪成一個星云爆炸的油畫”，使用 DALL·E2 和 DALL·E3 分別進行圖片生成?？梢钥吹?，兩代模型在生成圖片的效果存在明顯的差異。

和左側相比，DALL·E 3 圖片中的細節(jié)描繪、場景明亮度等效果都更好。

在 DALL·E 2 發(fā)布的一年多時間，期間 Stable Diffusion 掀起了一陣擴散模型熱潮，后者一時風光兩無。如今，OpenAI 帶著最新版的 DALL·E 3 洶洶來襲，似乎將要改變這一局面。

新一輪文生圖戰(zhàn)局打響了

早些時候，約 400 人左右參與測試了 OpenAI Discord 服務器上的 DALL·E 3 Alpha 版本，網友評價：生成圖片的準確度碾壓 Stable Diffusion 、MidJourney。MidJourney 的語文水平一直被用戶吐槽，這一點在 DALL·E 3 上大有改觀。DALL·E 3 可以通過 Prompt 提示，在圖片中生成連續(xù)準確的單詞拼寫，像下圖中的“HELLO”，在以往的文生圖模型中還沒有模型可實現這一點。

這張“DALL·E CAN SPELL”的圖片放大后，也可以看到在圖片深處的“DALL·E ”有拼寫成“DALE”的情況，但是整體看，在遵循提示和生成連貫細節(jié)方面 DALL·E 3 已經有了極大的突破。

除了文字的細節(jié)，在對 Prompt 理解方面，DALL·E 3 與早一期的版本也有極大的進步。提示詞是“霧蒙蒙的森林里，地面非常泥濘，一場自行車比賽正在進行，一個粉紅色的小丑騎著用奶酪做成的自行車，和跟熊貓擊掌，熊貓很生氣?！痹?5 月 DALL·E 版本中可以看到，熊貓和小丑的手掌是扭曲的，自行車用奶酪制成這一細節(jié)不太明顯，熊貓表情面露微笑，這一點顯然和提示詞的內容不符合。

到了 DALL·E 3 的版本中可以看到，小丑和熊貓擊掌，小丑明顯的五根手指，自行車車輪完全是奶酪元素，包括車輪激起的泥點細節(jié)等， DALL·E 3 在理解提示詞語義和呈現畫面方面有了非常明顯的進步。

當在 Stable Diffusion 、MidJourney 中輸入相同提示詞時，呈現的畫面與提示詞的關系，不能說一點不同，也差不多是毫不相關?？吹?DALL·E 3 的表現，很多網友表示 Stable Diffusion 、MidJourney 無法在這個級別上與其競爭。

就在上周，有消息爆出谷歌正在小范圍內測 Gemini，傳言稱，Gemini 將比 ChatGPT 強大 20 倍，這也給 OpenAI 帶來了一定程度上的輿論壓力。

隨后，OpenAI “悄悄”更新了 GPT-3.5-Turbo-Instruct，此前有消息傳出，OpenAI 正緊鑼密鼓地將 GPT-4 與類似于 Gemini 提供的多模態(tài)功能結合起來，不少業(yè)內人士猜測，OpenAI 或在即將召開的首屆開發(fā)者大會上發(fā)布多模態(tài)大模型，比如 GPT-4-Vision。

大模型局勢撲朔迷離，作為大模型的引領者，谷歌和 OpenAI 在互相試探，二者真實實力幾何，還有多少顛覆我們認知的能力，尚且未知。

目前， DALL·E 3 背后的技術細節(jié)并未公布。但在安全和版權保護方面，OpenAI 已對 DALL·E 3 投入了大量的工作，包括采取緩解措施拒絕提供公眾人物姓名、與外部的“紅隊”成員（對模型進行壓力測試的團隊）合作、在內部開發(fā)來源分類器等。

此外，DALL·E 3 拒絕提供在世藝術家風格圖像，藝術創(chuàng)作者也可選擇將其個人作品從 DALL·E 3 未來圖像生成模型的訓練中剔除。據悉，DALL·E 3 將于 10 月初面向 ChatGPT Plus 和 Enterprise 用戶上線，用戶使用 DALL·E 3 創(chuàng)建的圖像無需 OpenAI 授權即可轉載或者出售。

（雷峰網雷峰網(公眾號：雷峰網)）

雷峰網原創(chuàng)文章，未經授權禁止轉載。詳情見轉載須知。