0
| 本文作者： 劉潔 | 2024-08-14 10:36 |
在大模型革命的第一波浪潮中，許多初創(chuàng)公司和企業(yè)基于領先的閉源模型，如OpenAI的ChatGPT設計自己的商業(yè)模式。然而，隨著越來越多新的開源模型的出現(xiàn)，大模型從訓練轉向推理，基于大模型的商業(yè)模式也在悄然改變。
最近，在人工智能領域，一家名為Fireworks AI的公司迅速嶄露頭角。在今年7月的B輪融資中，該公司在紅杉資本的領投下籌集了5200萬美元，估值達到了5.22億美元。
作為一個SaaS平臺，F(xiàn)ireworks AI專注于提供生成式人工智能推理和高質(zhì)量的調(diào)優(yōu)服務。公司致力于為客戶打造速度快、成本合理且高度可定制的生成式人工智能（GenAI）解決方案，滿足不同客戶的獨特需求。
在獲得融資一個月后，F(xiàn)ireworks AI首席執(zhí)行官喬琳做客紅杉資本的Training Data Podcast，從自己之前領導 Meta 的 PyTorch 團隊重建了整個堆棧、滿足商業(yè)客戶的復雜需求開始，講述了Fireworks對大模型時代如何幫助客戶進行優(yōu)化、創(chuàng)造價值的思考。AI科技評論節(jié)選了部分內(nèi)容并進行了解讀，Podcast全文見：https://www.sequoiacap.com/podcast/training-data-lin-qiao/
喬琳創(chuàng)立Fireworks的初衷源自于一個特別的想法：縮短AI模型訓練和推理時間，以此推動各種AI應用的繁榮發(fā)展。在training data podcast的對談中，她分享了一個重要信息：Fireworks能夠加速整個行業(yè)的產(chǎn)品上市周期，將其從五年壓縮到五周甚至五天。而這一切，都離不開Fireworks最核心的AI框架，PyTorch。
喬琳在Meta的PyTorch團隊的工作經(jīng)歷讓她注意到，無論是通用AI模型還是其他類型，越來越多的模型都在PyTorch中構建和運行。她認為這是由于PyTorch的漏斗效應，使其從研究人員的工具逐漸轉變?yōu)槟Ｐ蛣?chuàng)建和生產(chǎn)應用的主流框架。
簡單、可以擴展，這是PyTorch的設計邏輯，也是研究人員喜歡PyTorch的原因。PyTorch的設計哲學是簡化用戶體驗，隱藏后端復雜性。類似地，F(xiàn)ireworks保留其美觀簡單的前端并重建后端，為用戶提供更快的開箱即用體驗。
例如，當Fireworks聚焦于以高性能提供推理時，他們手寫了 CUDA 內(nèi)核，實現(xiàn)了跨節(jié)點的分布式推理，以及跨 GPU 的聚合推理，將模型分成幾部分，并以不同的方式進行縮放。此外Fireworks還實現(xiàn)了語義緩存，在給定內(nèi)容的情況下不必重新計算。此外還專門捕獲應用程序工作負載模式，然后將其構建到其推理堆棧中。
這一切組合成一個完整的系統(tǒng)，而不僅僅是一個庫，能夠自動調(diào)整以適應開發(fā)者或企業(yè)工作負載。從客戶角度看，F(xiàn)ireworks提供了一個平臺，讓客戶能夠訪問100多個模型，并幫助他們微調(diào)和定制模型以滿足特定需求。
那PyTorch在里面又起了什么作用呢？
Fireworks用PyTorch替換其他的現(xiàn)有框架，讓研究人員和開發(fā)者能夠輕松地將他們現(xiàn)有的工作遷移到PyTorch上，就像替換一個普通的代碼庫一樣。這樣一來，就能夠讓研究和生產(chǎn)環(huán)境都能統(tǒng)一在PyTorch上，簡化開發(fā)流程并提高效率。
這個看似簡單的的替換過程實際上比預期的要復雜得多，因為它涉及到了整個推理和訓練堆棧的重建，以及對數(shù)據(jù)加載、分布式推理和訓練擴展等方面的優(yōu)化。這個過程最終花費了五年時間，并且支持每天超過五萬億次推理；而現(xiàn)在，用戶可以通過Fireworks的這套系統(tǒng)，將五年的經(jīng)驗壓縮到五天中。
越來越多的開源項目讓商業(yè)活動使用AI模型的成本越來越低，但喬琳認為，和其他開源項目對比，F(xiàn)ireworks的優(yōu)勢不僅僅在于針對客戶需求定制模型。
與開源項目相比，使用Fireworks的成本更低，這不僅僅體現(xiàn)在經(jīng)濟成本上，還包括了開發(fā)成本。Fireworks提供的是一套現(xiàn)成的解決方案，它減少了在嘗試和優(yōu)化不同模型上所花費的時間和精力。
此外，F(xiàn)ireworks還能提供更低延遲的推理速度，以更低的成本實現(xiàn)更多功能。根據(jù)Fireworks官方數(shù)據(jù)，F(xiàn)ireworks的RAG速度比Groq要高9倍；Fireworks SDXL的圖像生成速度比其他提供商的平均水平高6倍；Fireworks的推測解碼速度更是能夠達到驚人的1000個令牌/秒。
與開源原始模型相比，F(xiàn)ireworks能將成本降低五倍，甚至在進一步微調(diào)的情況下降低三十倍。以vLLM為例，F(xiàn)ireAttention吞吐量比vLLM高15倍，Mixtral 8x7b的每枚代幣價格要比vLLM低4倍。
Fireworks還提供了極致簡化的自動化服務。Fireworks在后端進行了大量的自動化工作，包括自動調(diào)整復雜性和性能優(yōu)化。這一點是許多僅提供基礎庫和工具的開源項目所不具備的。Fireworks構建了一個完整的系統(tǒng)，能夠自動根據(jù)開發(fā)者或企業(yè)的工作負載進行調(diào)整，實現(xiàn)更高的性能和更優(yōu)的質(zhì)量。這種自動化服務不僅簡化了開發(fā)過程，也提高了整體的效率和產(chǎn)出。
許多初創(chuàng)公司在探索創(chuàng)意產(chǎn)品與市場契合度時，傾向于從OpenAI起步。然而，隨著業(yè)務規(guī)模的擴展，他們迫切需要選擇性能更優(yōu)、延遲更低的AI模型來適應產(chǎn)品市場的需求。在這一關鍵時刻，F(xiàn)ireworks AI能夠提供既經(jīng)濟又性能出色的AI解決方案。
喬琳觀察到，在與客戶的互動中，與CTO的接觸日益頻繁，這反映出整個行業(yè)正朝著創(chuàng)新驅(qū)動型業(yè)務轉型的方向迅速發(fā)展。這一轉變的背后有兩個主要原因：
首先，行業(yè)領導層都注意到了生成式人工智能（Generative Artificial Intelligence，GenAI）浪潮正在重塑行業(yè)格局。新興的初創(chuàng)公司正在以驚人的速度涌現(xiàn)。如果現(xiàn)有企業(yè)創(chuàng)新速度不夠快，不能高效利用生成式人工智能，就會很快被市場淘汰。
其次，生成式人工智能降低了AI模型訓練門檻。傳統(tǒng)人工智能訓練中，一般只有大規(guī)模公司才能提供訓練模型需要的海量數(shù)據(jù)和資源。但生成式人工智能的出現(xiàn)讓人們可以在已有的基礎模型上進行構建，通過微調(diào)得到合適的模型。
在這一行業(yè)變革中，通用小模型因其靈活性越來越受到商業(yè)用戶的青睞。Fireworks提供了大量規(guī)模在7B-13B之間的開源模型，在降低成本的同時，使開發(fā)人員能夠?qū)Ｗ⒂诟?、更集中的?shù)據(jù)集，更高效地處理部分特定的業(yè)務。
盡管OpenAI等公司研發(fā)出了可隨意使用的通用款人工智能，但在某些領域，通用模型缺乏業(yè)務邏輯，無法滿足特定業(yè)務需求。
Fireworks AI的模型微調(diào)服務正是為了解決這一市場痛點。Fireworks要求客戶或開發(fā)人員首先收集并標記業(yè)務數(shù)據(jù)，然后根據(jù)具體情況選擇合適的微調(diào)算法，調(diào)整參數(shù)和模型權重等。Fireworks在后端處理復雜的技術問題，而在前端為客戶提供一個簡單易用的界面，并留給客戶足夠的設計空間。通過這種方式，F(xiàn)ireworks使客戶能夠輕松地定制和優(yōu)化AI模型，以滿足其特定的業(yè)務需求。
Fireworks AI的愿景是構建一個能夠提供全面知識訪問的簡單API。
目前，公司已經(jīng)開發(fā)了一百多個模型，包括大型語言模型、圖像生成模型、音頻生成模型、視頻生成模型、嵌入式模型和多模態(tài)模型，實現(xiàn)了廣泛的基礎模型覆蓋，并針對延遲、吞吐量和每個Token的成本進行了優(yōu)化。
盡管這些基礎模型集合了豐富的知識和訓練數(shù)據(jù)，但它們所涵蓋的信息仍然有限。許多實時數(shù)據(jù)無法被捕獲，而且大量信息隱藏在不公開的API之后，無法直接訪問。
為了克服這些限制，F(xiàn)ireworks致力于創(chuàng)建一個功能強大的API，它能夠精確地調(diào)用不同的模型和API，實現(xiàn)對全部知識的訪問。在此基礎上，F(xiàn)ireworks想建立一個可以訪問數(shù)百名專家的專家混合網(wǎng)絡，每個專家都很小但很靈活，能夠針對特定問題提供高質(zhì)量的解決方案。
喬琳相信，隨著AI模型規(guī)模收益的放緩，行業(yè)將轉向更注重模型適用性的優(yōu)化。Fireworks AI憑借其創(chuàng)新的技術和定制化服務，完全有能力引領這一行業(yè)轉變，為用戶帶來更高效、更精準的AI應用體驗。
Fireworks AI于2022年底在加州創(chuàng)立，喬琳是 Fireworks AI 的首席執(zhí)行官兼聯(lián)合創(chuàng)始人，她本科和研究生畢業(yè)于復旦大學完成了計算機科學專業(yè)，并擁有加州大學圣塔芭芭拉分校計算機科學博士學位。
2015年，喬琳加入了Meta（原Facebook）。當時正值公司AI技術從CPU向GPU轉型的關鍵時期，需要從頭開始設計AI基礎設施。她帶領團隊研發(fā)了Caffe2等創(chuàng)新模型；并在后來的幾年時間里帶領由300 多名世界級優(yōu)秀工程師組成的Meta PyTorch團隊，領導開發(fā)了PyTorch及其周圍的整個系統(tǒng)，喬琳也被譽為“PyTorch之母”。Meta PyTorch團隊的研發(fā)成果給Facebook 數(shù)據(jù)中心提供了有力支持，并廣泛應用于數(shù)十億移動設備和數(shù)百萬 AR/VR 設備。
喬琳從PyTorch上了解到了開發(fā)人員在AI開發(fā)競賽中時面臨的巨大障礙，找到穩(wěn)定可靠的模型和架構和較低的模型總擁有成本。面對這處市場空白，喬琳選擇離開Meta開啟新的事業(yè)。她和Dmytro Dzhulgakov、Dmytro Ivchenko、James Reed、趙晨宇、Pawel Garbacki還有Benny Chen一起創(chuàng)立了Fireworks。這一批來自Meta PyTorch團隊和GCP團隊的精英在AI框架和AI基礎設施方面有著深厚的背景，也正是這些專業(yè)知識能夠讓他們把復雜的AI構建不斷簡化，在保證靈活穩(wěn)定的基礎上降低AI的使用成本。
曾和喬琳在Meta同組研究AI Infra的賈揚清，也在去年創(chuàng)立了自己的人工智能公司，Lepton AI。Lepton AI和Fireworks屬于同一賽道上的競爭對手。AI開發(fā)簡化這個賽道考驗的是團隊的技術經(jīng)驗，只有技術大牛才有底氣創(chuàng)立團隊加入競爭。雷峰網(wǎng)雷峰網(wǎng)(公眾號：雷峰網(wǎng))
喬琳的Fireworks也是打出了很有底氣的口號，“用于構建可用于生產(chǎn)的復合 AI 系統(tǒng)的最快、最高效的推理引擎”。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉載。詳情見轉載須知。
