0
早在 2019 年 3 月，我就建立了一個名為 AI Dungeon 的 hackathon 項目。這個項目是一個經典的文本冒險游戲。故事的內容和所呈現(xiàn)的潛在動作都是通過機器學習產生的：
圖片來源：AI Dungeon Classic
這款游戲在 hackathon 很受歡迎，總會有一小群人在線，但總的來說，離我的預想還有差距。
首先，玩家只能從游戲提供的選項中進行選擇。我想要一個真正開放的世界，玩家可以隨心所欲地寫作；另一方面，在長時間的游戲過程中，游戲很快就變得容易胡言亂語：
圖片來源：AI Dungeon Classic
不幸的是，這兩個問題都沒有很明確的解決方法。我在當時最大的可用參數版本 GPT-2 上建立了 AI Dungeon。盡管 GPT-2 是可用的最強大的模型，但實際上還遠遠不夠。經過幾個月的修復和調整，我的游戲有了很大的改進，但還是遇到了同樣的問題。
然而，在 11 月，OpenAI 發(fā)布了完整的 15 億參數 GPT-2 模型，并為新版本的游戲打開了大門，這個版本更接近我最初的想法。一個月后，我發(fā)布了 AI Dungeon 2，一個基于 GPT-2 模式的真正開放的文本冒險游戲：
圖片來源：AI Dungeon
在游戲中，你可以做任何事情。組建一個骷髏搖滾樂隊？吃月亮？安裝 Windows 10？一切皆有可能。
游戲反響非常好。我們登上了黑客新聞的榜首，一些受歡迎的玩家發(fā)布了相關視頻，Twitter 上滿是 ML 生成的冒險的截圖。一周之內，我們有了超過 10 萬名玩家，其中超過一半玩家從頭到尾完成了游戲。
然而，由于突然引起關注，我們的成本也大大增加。
如何在 GCP 上花費 50000 美元
當我第一次發(fā)布 AI Dungeon 2 時，它并不是一個托管應用，而是一個用戶可以復制并運行的 Google Colab notebook，用戶可以下載 AI Dungeon 模型并安裝游戲界面。
圖片來源：Google Colab
這種方法之所以有意義，有幾個原因。首先，Colab 是免費的，這使得它成為了一個很好的輔助項目平臺。其次，Google 為每個 Colab notebook 提供了一個免費的 GPU 實例，這是運行 5GB 模型所必需的。
我們遇到的第一個問題是我們的模型幾乎不適合 GPU 實例。如果由于某種原因，你的游戲需要一點額外的內存，整個游戲可能會崩潰。
第二個更嚴重的問題是資金問題。
我之所以選擇 Colab 是基于成本的考慮，但我沒有考慮數據下載的費用。由于每個 Colab notebook 都需要下載 5GB 的模型，而且用戶分布在不同的地區(qū)，因此每次下載的成本在 0.30 到 0.40 美元之間。
當每天的賬單達到 2000 美元時，比亞迪的感知控制認知實驗室（PCCL）非常友好地處理了這些費用；當成本達到 7000 美元時，他們還可以接受；但是當成本達到 15000 美元時，他們開始緊張起來；在成本達到 20000 美元時，我們都同意我們需要做點什么；在成本達到 30000 美元時，他們都想拔掉插頭了。
到一切都談妥時，三天內總帳已達 50000 美元。
在不中斷的情況下按比例部署 GPT-2
在 PCCL 關閉 AI Dungeon 2 的 12 小時內，我們的社區(qū)已經通過 torrent 分享模型的點對點解決方案，這意味著游戲是備份的，沒有下載收費。
然而，這顯然是一項臨時措施。AI Dungeon 2 的愿景是，它是一個任何人都可以玩的游戲，而不僅僅是那些有技術頭腦的人運行一個 Colab notebook。為了做到這一點，我們需要發(fā)布一個真正的應用程序游戲。
要構建一個完整的 AI Dungeon 2 應用程序，我們的模型需要部署為后端 web 服務器。你可以將它當成是一個“預測API”，我們的應用程序可以通過用戶的輸入進行查詢，從而生成接下來的故事。以前使用過 microservices 的人都應該熟悉這種模式。
問題是，如何在 ML 模型的基礎上構建微服務？
事實證明，有一個開源工具可以自動實現(xiàn)它，那就是 Cortex。在高層上，Cortex 將會：
將模型打包在 API 中并將其容器化
將模型部署到云中，將 API 公開為 HTTP 端點
自動縮放實例以處理流量波動
我們沒有使用 Flask、Docker、Kubernetes 和一大堆 AWS 服務來構建自己的基礎設施，我們可以整合和自動化我們的基礎設施。
這種架構允許我們將我們的模型作為網絡和移動應用程序的后端，向不能使用 Colab 的玩家開放游戲。然而，它也需要一些優(yōu)化，以便我們能夠負擔得起其費用。
首先，我們需要配置積極的自動縮放。我們每運行一個實例就收取一分鐘的費用，為了服務于許多并行用戶，我們需要啟動許多實例。為了最高效地利用我們的資源，我們需要在任何給定的時刻提高所需實例的最小數量，并快速地刪除任何不必要的實例。
其次，我們需要選擇最佳的實例類型。這意味著要準確計算出我們的實例需要多大才能有效地承載模型，并利用 spot 實例——云提供商以大幅折扣出售的未使用實例。
經過一些修復，我們能夠使我們的 Cortex 部署比以前 Colab 的設置成本效益高出大約 90%。在兩周內，我們的服務器數量達到了 715 臺的峰值，我們支持了超過 10 萬名玩家。六周后，我們已經支持了超過了 100 萬名用戶，創(chuàng)建了 600 萬個獨特的故事。
擴展 AI Dungeon 需要社區(qū)的共同努力
在每個發(fā)展階段，社區(qū)都是開啟我們下一階段規(guī)模的關鍵。
最明顯的例子是那些玩 AI Dungeon 2 的人。沒有他們，游戲就沒有任何規(guī)?？裳浴２贿^，除了我們的玩家，我們還得到了社區(qū)成員的幫助，比如：
BYU PCCL 支付我們的初始 GCP 賬單
在關閉后的 12 小時內，通過 torrent 將 AI Dungeon 2 重新上線的用戶
Braydon Batungbacal，他自愿構建 iOS 和 Android 應用程序
繼續(xù)支持 AI Dungeon 發(fā)展的 Patreon 支持者
像 Cortex 這樣的開源項目曾經支持 AI Dungeon
隨著我們繼續(xù)開發(fā) AI Dungeon，并有可能為其他由 ML 驅動的游戲提供一個更大的平臺，毫無疑問，我們的社區(qū)將繼續(xù)成為我們做出決策和執(zhí)行決策的驅動力。
感謝所有參與的人，請繼續(xù)關注下一步。
雷鋒網雷鋒網雷鋒網
雷峰網版權文章，未經授權禁止轉載。詳情見轉載須知。
