0
最近的AI社區(qū)，關(guān)于模型規(guī)模的討論有些活躍。
一方面，此前在大模型開發(fā)奉為“圣經(jīng)”的Scaling Law，似乎正在褪去光環(huán)。去年大家還在猜測GPT-5的規(guī)?！翱赡軙蟮较氩坏健?，現(xiàn)在這種討論幾乎絕跡。大神Andrej Karpathy，則是在感慨大模型規(guī)模正在“倒退”。
另一方面，近期市場上性能優(yōu)秀的小型模型層出不窮，參數(shù)規(guī)模、任務(wù)處理、反應(yīng)速度、安全性能，各公司在不同方面卷了又卷。
究竟是往大做探索極限，還是往小做迎合市場？
這最終匯總成一個問題：在這樣模型快速更迭的市場中，要怎么才能把LLM模型的商業(yè)價值最大化？
最近發(fā)起討論的是X.ai創(chuàng)始成員之一的Toby Pohlen。他認(rèn)為如果模型以指數(shù)級速度改進，那么訓(xùn)練模型的價值也會以指數(shù)級速度折舊。這也導(dǎo)致人們需要趕在模型更迭前就迅速采取行動獲取商業(yè)價值，一旦模型產(chǎn)生更新，上一代模型就基本一文不值了。
Toby的這番言論深得老板Elon Musk之心，大筆一揮打了一個“100分”。
賈揚清也參與到了這場討論中來，他用感恩節(jié)火雞做了一個有趣的比喻。他提出，售賣模型就像是感恩節(jié)火雞促銷，必須在感恩節(jié)前夕抓緊時間售賣，避免在感恩節(jié)到來后的貶值。新模型的技術(shù)更新就是一個又一個感恩節(jié)，只有銷售得更快才能賺到更多的利潤。
（emmm...如果對火雞不好了解，換成中秋節(jié)前搶月餅的故事大家或許應(yīng)該容易理解一些？）
評論區(qū)也有不少人表達了對此觀點的贊同。
有人說只要不斷地開發(fā)新產(chǎn)品和迭代新模型，就能從中持續(xù)獲得商業(yè)價值。
還有人說，模型改進的頻率將直接決定模型本身的商業(yè)價值。
但是，模型的商業(yè)價值由什么決定，又該如何實現(xiàn)？
模型發(fā)展在走CNN老路嗎？
模型必須做小，用起來才順手。
比起大型模型，小型模型成本低應(yīng)用便利，更能收獲商業(yè)市場的青睞。賈揚清就發(fā)現(xiàn)，行業(yè)趨勢在于研發(fā)和使用尺寸更小性能強大的模型，人們也更愿意把規(guī)模參數(shù)在7B-70B之間的中小型模型作為商業(yè)使用的選擇。
作為前大模型時代的親歷者，賈揚清在當(dāng)下LLM模型市場上嗅到了熟悉的味道，先變大再變小變高效，這和CNN時期的模型發(fā)展簡直一模一樣。
賈揚清還對CNN的發(fā)展歷程做了一個簡單的介紹。
首先是2012年，AlexNet開啟了模型大小增長的序幕。2014年的VGGNet就是一個規(guī)模較大的高性能模型。
到了2015年，模型尺寸開始縮小。GoogleNet 將模型大小從GB降至MB，縮小了100倍，還同時保持了良好的性能。同年面世的SqueezeNet也遵循了追求更小尺寸的趨勢。
在此之后，模型發(fā)展的重點轉(zhuǎn)移到了維持平衡。比如如 ResNet(2015)、ResNeXT(2016)等模型都保持了一個適中的規(guī)模，注重計算效率。
賈揚清還介紹了CNN的一個有趣的應(yīng)用，Google的MobileNet（2017），占用空間小性能優(yōu)越，還具有出色的特征嵌入泛化。
最后，賈揚清引用了Ghimire 等人在《高效卷積神經(jīng)網(wǎng)絡(luò)和硬件加速調(diào)查》里的一張圖：
他還進一步發(fā)問，LLM模型未來會遵循和CNN一樣的發(fā)展趨勢嗎？
不過賈揚清也補充道，雖然行業(yè)趨勢是模型小型化，但并不意味著號召大家放棄尺寸更大的模型。
但這隨之而來的是另一個問題：大型模型的成本會更高。
此前也有人提出質(zhì)疑，對大型模型服務(wù)商的運營成本和營運收益做了簡單的計算，每天8張H100顯卡運營節(jié)點的成本約為1000美元，每天可以提供2600萬token的服務(wù)，但按Llama 405B每一百萬token 3美元的價格，怎么算都是虧本的，無法盈利的大型模型不會被市場拋棄嗎？
賈揚清表示，哎你說這個我就不困了，我熟我來說：）
賈揚清認(rèn)為，雖然每個請求大約每秒輸出30個token，但通過批量處理（同時處理多個請求）可以顯著提高總吞吐量，可以達到比單個請求高出10倍或更高的吞吐量。
同時他還指出，每秒大約30個token指的是輸出token，大模型對于輸入token的處理速度更快，這也增加了處理的總token數(shù)，大模型通常對輸入和輸出分別計費，也正是這個道理。
在后續(xù)的另一個回復(fù)，賈揚清做了更詳細(xì)的量化計算：
批量輸出速度：單并發(fā)405b推理通常有每秒30個token的輸出速度。合理的并發(fā)可以使總吞吐量提高10倍，達到每秒300個token的輸出吞吐量。
輸入token：輸入token也被計費，通常輸入token的數(shù)量遠大于輸出token。一個常見的聊天機器人應(yīng)用可能有2048個輸入token和128個輸出token。假設(shè)輸入輸出token比率為10:1，那么每秒300個輸出token的處理量相當(dāng)于每秒3000個輸入token。
價格：每天總共處理285,120,000個token，按當(dāng)前Lepton價格每百萬token2.8美元計算，收入為798.34美元。
機器成本：以lambda按需價格為基準(zhǔn)，每張H100卡每小時3.49美元，8張H100卡一天的成本為670.08美元。
收入798.34美元，成本670.08美元，因此通過整合多種技術(shù)方法，在合理流量下（像Lepton這樣的大模型技術(shù)服務(wù)商）是可能盈利的。
當(dāng)然，這只是一個簡單的推算，實際的盈利還會受到流量穩(wěn)定性、計費方式、按需使用GPU的機器成本控制、解碼、提示緩存以及其他因素的影響。
但某種程度上說，類似深度學(xué)習(xí)時代對CNN的不斷優(yōu)化，在大模型時代，也需要技術(shù)人員對于模型進行種種優(yōu)化，來保證性能提高的同時不斷降低成本，這正是賈揚清看好的創(chuàng)業(yè)路線。
我們不妨再多討論一下，對于賈揚清這樣的AI Infra創(chuàng)業(yè)者，模型大小的潮流變化對他的商業(yè)模式有什么影響？
這個問題，要分不同情況分析。
如果模型參數(shù)量越大，提供模型服務(wù)的門檻越高（參考Llama 405B），其客單價自然也就越大；
另一方面，由于很多小模型實際是在大模型的基礎(chǔ)上蒸餾而得到，模型小了，所需的計算資源并沒有等幅度減少；
由于較小的模型更容易部署在不同的設(shè)備和平臺上，這可能會帶來應(yīng)用場景的增加，雖然客單價可能降低，但在需求數(shù)量上的增加反而可能使得總收入增加；
對于賈揚清來說，META的開源路線使得賈揚清的服務(wù)對象擴大，因此開源對他來說更有利。
看來不管未來模型規(guī)模怎么不變化，賈揚清都有機會憑借技術(shù)升級穩(wěn)坐釣魚臺。這有點像之前的中國股市，不管什么消息，都是“利好茅臺”啊。
這恐怕就是賈揚清最近在推特上為什么這么活躍發(fā)表看法的原因？你看好賈揚清這種AI Infra的創(chuàng)業(yè)路線嗎？雷峰網(wǎng)(公眾號：雷峰網(wǎng))雷峰網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
