在大模型革命的第一波浪潮中，許多初創(chuàng)公司和企業(yè)基于領(lǐng)先的閉源模型，如OpenAI的ChatGPT設(shè)計(jì)自己的商業(yè)模式。然而，隨著越來越多新的開源模型的出現(xiàn)，大模型從訓(xùn)練轉(zhuǎn)向推理，基于大模型的商業(yè)模式也在悄然改變。

最近，在人工智能領(lǐng)域，一家名為Fireworks AI的公司迅速嶄露頭角。在今年7月的B輪融資中，該公司在紅杉資本的領(lǐng)投下籌集了5200萬美元，估值達(dá)到了5.22億美元。

作為一個(gè)SaaS平臺(tái)，F(xiàn)ireworks AI專注于提供生成式人工智能推理和高質(zhì)量的調(diào)優(yōu)服務(wù)。公司致力于為客戶打造速度快、成本合理且高度可定制的生成式人工智能（GenAI）解決方案，滿足不同客戶的獨(dú)特需求。

在獲得融資一個(gè)月后，F(xiàn)ireworks AI首席執(zhí)行官喬琳做客紅杉資本的Training Data Podcast，從自己之前領(lǐng)導(dǎo) Meta 的 PyTorch 團(tuán)隊(duì)重建了整個(gè)堆棧、滿足商業(yè)客戶的復(fù)雜需求開始，講述了Fireworks對(duì)大模型時(shí)代如何幫助客戶進(jìn)行優(yōu)化、創(chuàng)造價(jià)值的思考。AI科技評(píng)論節(jié)選了部分內(nèi)容并進(jìn)行了解讀，Podcast全文見：https://www.sequoiacap.com/podcast/training-data-lin-qiao/

簡(jiǎn)單、可以擴(kuò)展：PyTorch和Fireworks的通用邏輯

喬琳創(chuàng)立Fireworks的初衷源自于一個(gè)特別的想法：縮短AI模型訓(xùn)練和推理時(shí)間，以此推動(dòng)各種AI應(yīng)用的繁榮發(fā)展。在training data podcast的對(duì)談中，她分享了一個(gè)重要信息：Fireworks能夠加速整個(gè)行業(yè)的產(chǎn)品上市周期，將其從五年壓縮到五周甚至五天。而這一切，都離不開Fireworks最核心的AI框架，PyTorch。

喬琳在Meta的PyTorch團(tuán)隊(duì)的工作經(jīng)歷讓她注意到，無論是通用AI模型還是其他類型，越來越多的模型都在PyTorch中構(gòu)建和運(yùn)行。她認(rèn)為這是由于PyTorch的漏斗效應(yīng)，使其從研究人員的工具逐漸轉(zhuǎn)變?yōu)槟Ｐ蛣?chuàng)建和生產(chǎn)應(yīng)用的主流框架。

簡(jiǎn)單、可以擴(kuò)展，這是PyTorch的設(shè)計(jì)邏輯，也是研究人員喜歡PyTorch的原因。PyTorch的設(shè)計(jì)哲學(xué)是簡(jiǎn)化用戶體驗(yàn)，隱藏后端復(fù)雜性。類似地，F(xiàn)ireworks保留其美觀簡(jiǎn)單的前端并重建后端，為用戶提供更快的開箱即用體驗(yàn)。

例如，當(dāng)Fireworks聚焦于以高性能提供推理時(shí)，他們手寫了 CUDA 內(nèi)核，實(shí)現(xiàn)了跨節(jié)點(diǎn)的分布式推理，以及跨 GPU 的聚合推理，將模型分成幾部分，并以不同的方式進(jìn)行縮放。此外Fireworks還實(shí)現(xiàn)了語義緩存，在給定內(nèi)容的情況下不必重新計(jì)算。此外還專門捕獲應(yīng)用程序工作負(fù)載模式，然后將其構(gòu)建到其推理堆棧中。

這一切組合成一個(gè)完整的系統(tǒng)，而不僅僅是一個(gè)庫，能夠自動(dòng)調(diào)整以適應(yīng)開發(fā)者或企業(yè)工作負(fù)載。從客戶角度看，F(xiàn)ireworks提供了一個(gè)平臺(tái)，讓客戶能夠訪問100多個(gè)模型，并幫助他們微調(diào)和定制模型以滿足特定需求。

那PyTorch在里面又起了什么作用呢？

Fireworks用PyTorch替換其他的現(xiàn)有框架，讓研究人員和開發(fā)者能夠輕松地將他們現(xiàn)有的工作遷移到PyTorch上，就像替換一個(gè)普通的代碼庫一樣。這樣一來，就能夠讓研究和生產(chǎn)環(huán)境都能統(tǒng)一在PyTorch上，簡(jiǎn)化開發(fā)流程并提高效率。

這個(gè)看似簡(jiǎn)單的的替換過程實(shí)際上比預(yù)期的要復(fù)雜得多，因?yàn)樗婕暗搅苏麄€(gè)推理和訓(xùn)練堆棧的重建，以及對(duì)數(shù)據(jù)加載、分布式推理和訓(xùn)練擴(kuò)展等方面的優(yōu)化。這個(gè)過程最終花費(fèi)了五年時(shí)間，并且支持每天超過五萬億次推理；而現(xiàn)在，用戶可以通過Fireworks的這套系統(tǒng)，將五年的經(jīng)驗(yàn)壓縮到五天中。

Fireworks與開源

越來越多的開源項(xiàng)目讓商業(yè)活動(dòng)使用AI模型的成本越來越低，但喬琳認(rèn)為，和其他開源項(xiàng)目對(duì)比，F(xiàn)ireworks的優(yōu)勢(shì)不僅僅在于針對(duì)客戶需求定制模型。

與開源項(xiàng)目相比，使用Fireworks的成本更低，這不僅僅體現(xiàn)在經(jīng)濟(jì)成本上，還包括了開發(fā)成本。Fireworks提供的是一套現(xiàn)成的解決方案，它減少了在嘗試和優(yōu)化不同模型上所花費(fèi)的時(shí)間和精力。

此外，F(xiàn)ireworks還能提供更低延遲的推理速度，以更低的成本實(shí)現(xiàn)更多功能。根據(jù)Fireworks官方數(shù)據(jù)，F(xiàn)ireworks的RAG速度比Groq要高9倍；Fireworks SDXL的圖像生成速度比其他提供商的平均水平高6倍；Fireworks的推測(cè)解碼速度更是能夠達(dá)到驚人的1000個(gè)令牌/秒。

與開源原始模型相比，F(xiàn)ireworks能將成本降低五倍，甚至在進(jìn)一步微調(diào)的情況下降低三十倍。以vLLM為例，F(xiàn)ireAttention吞吐量比vLLM高15倍，Mixtral 8x7b的每枚代幣價(jià)格要比vLLM低4倍。

Fireworks還提供了極致簡(jiǎn)化的自動(dòng)化服務(wù)。Fireworks在后端進(jìn)行了大量的自動(dòng)化工作，包括自動(dòng)調(diào)整復(fù)雜性和性能優(yōu)化。這一點(diǎn)是許多僅提供基礎(chǔ)庫和工具的開源項(xiàng)目所不具備的。Fireworks構(gòu)建了一個(gè)完整的系統(tǒng)，能夠自動(dòng)根據(jù)開發(fā)者或企業(yè)的工作負(fù)載進(jìn)行調(diào)整，實(shí)現(xiàn)更高的性能和更優(yōu)的質(zhì)量。這種自動(dòng)化服務(wù)不僅簡(jiǎn)化了開發(fā)過程，也提高了整體的效率和產(chǎn)出。

市場(chǎng)趨勢(shì)與競(jìng)爭(zhēng)

許多初創(chuàng)公司在探索創(chuàng)意產(chǎn)品與市場(chǎng)契合度時(shí)，傾向于從OpenAI起步。然而，隨著業(yè)務(wù)規(guī)模的擴(kuò)展，他們迫切需要選擇性能更優(yōu)、延遲更低的AI模型來適應(yīng)產(chǎn)品市場(chǎng)的需求。在這一關(guān)鍵時(shí)刻，F(xiàn)ireworks AI能夠提供既經(jīng)濟(jì)又性能出色的AI解決方案。

喬琳觀察到，在與客戶的互動(dòng)中，與CTO的接觸日益頻繁，這反映出整個(gè)行業(yè)正朝著創(chuàng)新驅(qū)動(dòng)型業(yè)務(wù)轉(zhuǎn)型的方向迅速發(fā)展。這一轉(zhuǎn)變的背后有兩個(gè)主要原因：

首先，行業(yè)領(lǐng)導(dǎo)層都注意到了生成式人工智能（Generative Artificial Intelligence，GenAI）浪潮正在重塑行業(yè)格局。新興的初創(chuàng)公司正在以驚人的速度涌現(xiàn)。如果現(xiàn)有企業(yè)創(chuàng)新速度不夠快，不能高效利用生成式人工智能，就會(huì)很快被市場(chǎng)淘汰。

其次，生成式人工智能降低了AI模型訓(xùn)練門檻。傳統(tǒng)人工智能訓(xùn)練中，一般只有大規(guī)模公司才能提供訓(xùn)練模型需要的海量數(shù)據(jù)和資源。但生成式人工智能的出現(xiàn)讓人們可以在已有的基礎(chǔ)模型上進(jìn)行構(gòu)建，通過微調(diào)得到合適的模型。

在這一行業(yè)變革中，通用小模型因其靈活性越來越受到商業(yè)用戶的青睞。Fireworks提供了大量規(guī)模在7B-13B之間的開源模型，在降低成本的同時(shí)，使開發(fā)人員能夠?qū)Ｗ⒂诟?、更集中的?shù)據(jù)集，更高效地處理部分特定的業(yè)務(wù)。

盡管OpenAI等公司研發(fā)出了可隨意使用的通用款人工智能，但在某些領(lǐng)域，通用模型缺乏業(yè)務(wù)邏輯，無法滿足特定業(yè)務(wù)需求。

Fireworks AI的模型微調(diào)服務(wù)正是為了解決這一市場(chǎng)痛點(diǎn)。Fireworks要求客戶或開發(fā)人員首先收集并標(biāo)記業(yè)務(wù)數(shù)據(jù)，然后根據(jù)具體情況選擇合適的微調(diào)算法，調(diào)整參數(shù)和模型權(quán)重等。Fireworks在后端處理復(fù)雜的技術(shù)問題，而在前端為客戶提供一個(gè)簡(jiǎn)單易用的界面，并留給客戶足夠的設(shè)計(jì)空間。通過這種方式，F(xiàn)ireworks使客戶能夠輕松地定制和優(yōu)化AI模型，以滿足其特定的業(yè)務(wù)需求。

未來愿景

Fireworks AI的愿景是構(gòu)建一個(gè)能夠提供全面知識(shí)訪問的簡(jiǎn)單API。

目前，公司已經(jīng)開發(fā)了一百多個(gè)模型，包括大型語言模型、圖像生成模型、音頻生成模型、視頻生成模型、嵌入式模型和多模態(tài)模型，實(shí)現(xiàn)了廣泛的基礎(chǔ)模型覆蓋，并針對(duì)延遲、吞吐量和每個(gè)Token的成本進(jìn)行了優(yōu)化。

盡管這些基礎(chǔ)模型集合了豐富的知識(shí)和訓(xùn)練數(shù)據(jù)，但它們所涵蓋的信息仍然有限。許多實(shí)時(shí)數(shù)據(jù)無法被捕獲，而且大量信息隱藏在不公開的API之后，無法直接訪問。

為了克服這些限制，F(xiàn)ireworks致力于創(chuàng)建一個(gè)功能強(qiáng)大的API，它能夠精確地調(diào)用不同的模型和API，實(shí)現(xiàn)對(duì)全部知識(shí)的訪問。在此基礎(chǔ)上，F(xiàn)ireworks想建立一個(gè)可以訪問數(shù)百名專家的專家混合網(wǎng)絡(luò)，每個(gè)專家都很小但很靈活，能夠針對(duì)特定問題提供高質(zhì)量的解決方案。

喬琳相信，隨著AI模型規(guī)模收益的放緩，行業(yè)將轉(zhuǎn)向更注重模型適用性的優(yōu)化。Fireworks AI憑借其創(chuàng)新的技術(shù)和定制化服務(wù)，完全有能力引領(lǐng)這一行業(yè)轉(zhuǎn)變，為用戶帶來更高效、更精準(zhǔn)的AI應(yīng)用體驗(yàn)。

誰是喬琳？

Fireworks AI于2022年底在加州創(chuàng)立，喬琳是 Fireworks AI 的首席執(zhí)行官兼聯(lián)合創(chuàng)始人，她本科和研究生畢業(yè)于復(fù)旦大學(xué)完成了計(jì)算機(jī)科學(xué)專業(yè)，并擁有加州大學(xué)圣塔芭芭拉分校計(jì)算機(jī)科學(xué)博士學(xué)位。

2015年，喬琳加入了Meta（原Facebook）。當(dāng)時(shí)正值公司AI技術(shù)從CPU向GPU轉(zhuǎn)型的關(guān)鍵時(shí)期，需要從頭開始設(shè)計(jì)AI基礎(chǔ)設(shè)施。她帶領(lǐng)團(tuán)隊(duì)研發(fā)了Caffe2等創(chuàng)新模型；并在后來的幾年時(shí)間里帶領(lǐng)由300 多名世界級(jí)優(yōu)秀工程師組成的Meta PyTorch團(tuán)隊(duì)，領(lǐng)導(dǎo)開發(fā)了PyTorch及其周圍的整個(gè)系統(tǒng)，喬琳也被譽(yù)為“PyTorch之母”。Meta PyTorch團(tuán)隊(duì)的研發(fā)成果給Facebook 數(shù)據(jù)中心提供了有力支持，并廣泛應(yīng)用于數(shù)十億移動(dòng)設(shè)備和數(shù)百萬 AR/VR 設(shè)備。

喬琳從PyTorch上了解到了開發(fā)人員在AI開發(fā)競(jìng)賽中時(shí)面臨的巨大障礙，找到穩(wěn)定可靠的模型和架構(gòu)和較低的模型總擁有成本。面對(duì)這處市場(chǎng)空白，喬琳選擇離開Meta開啟新的事業(yè)。她和Dmytro Dzhulgakov、Dmytro Ivchenko、James Reed、趙晨宇、Pawel Garbacki還有Benny Chen一起創(chuàng)立了Fireworks。這一批來自Meta PyTorch團(tuán)隊(duì)和GCP團(tuán)隊(duì)的精英在AI框架和AI基礎(chǔ)設(shè)施方面有著深厚的背景，也正是這些專業(yè)知識(shí)能夠讓他們把復(fù)雜的AI構(gòu)建不斷簡(jiǎn)化，在保證靈活穩(wěn)定的基礎(chǔ)上降低AI的使用成本。

曾和喬琳在Meta同組研究AI Infra的賈揚(yáng)清，也在去年創(chuàng)立了自己的人工智能公司，Lepton AI。Lepton AI和Fireworks屬于同一賽道上的競(jìng)爭(zhēng)對(duì)手。AI開發(fā)簡(jiǎn)化這個(gè)賽道考驗(yàn)的是團(tuán)隊(duì)的技術(shù)經(jīng)驗(yàn)，只有技術(shù)大牛才有底氣創(chuàng)立團(tuán)隊(duì)加入競(jìng)爭(zhēng)。雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))雷峰網(wǎng)

喬琳的Fireworks也是打出了很有底氣的口號(hào)，“用于構(gòu)建可用于生產(chǎn)的復(fù)合 AI 系統(tǒng)的最快、最高效的推理引擎”。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。