0
| 本文作者： 董子博 | 2023-04-27 20:41 |
2023年的AI大模型，已經(jīng)從Q1火到了Q2。
國內(nèi)，從大廠到新創(chuàng)，紛紛下場試水，幾個月過去，已經(jīng)有了不少大模型產(chǎn)品“交卷”受評，頗有“亂花漸欲迷人眼”的架勢。
看客只識AI大模型百花齊放，但除了一場熱鬧以外，卻也開始有人問出了這個問題：
“AI大模型這么厲害，但它有啥用呢？”
誠然，市場上不少公布的大模型，還并未開發(fā)到完全程度——甚至距離“可用”、“好用”還差著一些距離。
在一些AI大模型產(chǎn)品，仍舊在“胡說八道”、場景落地難、語義理解能力弱等問題中徘徊時，OpenAI 首先看到了落地的痛點，和微軟合作推出 Copilot，主打在辦公領(lǐng)域提升工作效率，打響了大模型向生產(chǎn)力進軍的發(fā)令槍。
在人們的想象中，AI 應(yīng)該可以幫助處理機械、重復(fù)的日常工作，提供獨特的分析視點、創(chuàng)作靈感，在特定的領(lǐng)域——比如教育、醫(yī)療、法律——給出獨特的建議和幫助，讓工作和生活更輕松、便捷，讓每個人都能夠享受更貼心細致的服務(wù)。
而什么樣的AI大模型，才能真正地幫助使用者“干活”？讓日常辦公、生產(chǎn)的效率得到更大提升？什么樣的大模型，才真正算得上生產(chǎn)力工具？要滿足生產(chǎn)力工具的要求，大模型需要有哪些秘密武器？
對于業(yè)界來說，這些問題如果得不到解答，那么或早或晚，都會遇上市場的瓶頸；而越早能夠為市場提供效率提升的大模型產(chǎn)品，也就能夠越早地占領(lǐng)先機。
記憶和理解能力，對于當下如同雨后春筍的大模型產(chǎn)品來說，說得上是最硬核的實力比拼。
模型的理解能力，根植于對自然語言的處理能力，能夠清晰地辨別語義，尤其是一些根植于本地語言語境中的俗語、幽默，對于理解用戶想要什么，進而完成文本生成和創(chuàng)作，至關(guān)重要。
而模型的記憶能力——也就是多輪對話能力——越強，使用者就能更詳細地對需求進行描述，進而利用 AI 完成更加復(fù)雜的工作任務(wù)；
大模型比拼中最“硬”的兩個科目，也是大模型提供生產(chǎn)力的關(guān)鍵保證。不僅如此，不如說，要大模型能夠真正幫人“干活”，記憶和理解能力，都要滿足更高的要求。
但無論是“理解”還是“記憶”，都是大模型在當下的能力提升的攻關(guān)難點。一方面是市場的巨大痛點，一方面是技術(shù)上難攻不落的“高墻”，這對矛盾不解決，AI 的生產(chǎn)力就始終面臨著一個艱難的瓶頸。
首先，要解決 AI 語義理解能力差的問題，昆侖萬維和奇點智源的 AI 科學家們想到了一種另辟蹊徑的方法——蒙特卡洛樹搜索算法。
蒙特卡洛樹搜索算法，簡單來說一種基于隨機模擬的強化學習算法。對 AI 不甚了解的人可能并不知道它的名字，但它卻是AlphaGo能打敗李世石、柯潔等一眾圍棋高手的秘密武器。而蒙特卡洛樹搜索的核心，就是通過一個樹狀結(jié)構(gòu)，在每個節(jié)點進行隨機搜索，并找到最優(yōu)決策的方式。
在昆侖萬維和奇點智源聯(lián)合發(fā)布的AI大語言模型——“天工”中，蒙特卡洛樹搜索可以讓AI“三思而后行”——AI 會基于過去用戶的對話記錄以及當前用戶的輸入生成候選大量回復(fù)，并結(jié)合NLP技術(shù)，選取最佳的回復(fù)方案反饋給用戶。
通過把蒙特卡洛樹搜索算法，和自然語言處理相結(jié)合，讓Decoder的安全性和準確性獲得了極大的增強，也讓天工在相對復(fù)雜的任務(wù)和場景中，能夠快速且準確地響應(yīng)指令，輸出高質(zhì)量回答。
為了測試天工的語義理解能力，雷峰網(wǎng)(公眾號：雷峰網(wǎng))向天工提問：“什么是蒙特卡洛樹搜索算法？”天工的回答還比較清楚，令人滿意：
把蒙特卡洛樹搜索應(yīng)用到 AI 對話機器人中，另一個優(yōu)勢，是AI能夠理解如何在對話中轉(zhuǎn)換話題，并提出問題，引導用戶完善自己的Prompt，以得到更好的回復(fù)結(jié)果。
比如，雷峰網(wǎng)故意問出了一個十分寬泛、難以回答的問題。天工則并沒有落入這個“陷阱”，通過主動提問，縮小問題的范圍：
而為了測試天工的中文語義理解能力，雷峰網(wǎng)向天工詢問了一句古詩的情感色彩，不得不說，天工把握得相當不錯：
在不錯的語義理解能力之上，天工的“文采”，也出人意料。它給出的結(jié)果稍作修飾，就能變成一篇不錯的短文：
在文本的翻譯中，也能看出天工對中英雙語的嫻熟運用，在用英文描繪詩詞時，甚至也能品到中文的“原汁原味”：
而提到記憶能力，天工更是出人意表，能勝任超過20輪以上的對話，支持萬字以上的超長文本。單就這一點，足以讓不少同類產(chǎn)品望塵莫及。
比如下面的對話，天工就在連續(xù)對話上小試牛刀，還能夠理解“沙特球王”的足球梗，
在超強連續(xù)對話能力的背后，是天工的“財大氣粗”。背靠中國最大的GPU集群之一，天工有超級豐厚的資源，保證運行和相應(yīng)的速度，同時也讓用戶資料安全與使用體驗更加穩(wěn)定、可靠。
理解能力和記憶能力，足稱得上是大模型產(chǎn)品在生產(chǎn)力上的分水嶺——在深度理解用戶需求的基礎(chǔ)上，能夠?qū)崟r地完成連續(xù)對話，能越過這道坎，AI 才能開始為用戶提供生產(chǎn)力的保證。
嘗試過用 AI 寫稿的記者，尤其是某些垂直領(lǐng)域的記者，也大多心中都有過隱隱的擔憂——如果 AI 在某些關(guān)鍵信息點“一本正經(jīng)地胡說八道”，而自己沒有發(fā)現(xiàn)，最后就會造成嚴重的事故。
誠然，大模型的“幻覺”問題，可以通過知識圖譜，以及上文提到的蒙特卡洛樹搜索算法，進行一定程度上的抑制；而到了專業(yè)領(lǐng)域，場景優(yōu)化做不好、訓練數(shù)據(jù)質(zhì)量低，AI 再巧，面對的也是無米之炊。
用 AI 用得不放心，還不如自己親自上陣——不少人都是因此，對 AI 敬而遠之。而沒有人用，就無法獲得足量數(shù)據(jù)來繼續(xù)訓練、修正模型，進而形成了一種惡性循環(huán)。
盡管幻覺問題的解決并非一朝一夕，但當下的AI 大模型要做到“好用”，首先得“可用”和“可靠”。在工作、教育等垂直場景落地，大模型得有一些“絕活”。
首先是數(shù)據(jù)需要“保質(zhì)保量”，一方面數(shù)據(jù)要足量，支撐模型訓練的要求；另一方面，數(shù)據(jù)的質(zhì)量也必須夠高，否則訓練出來的模型，反而容易被不良數(shù)據(jù)“帶跑偏”，甚至讓訓練起到反效果。
其次，是模型的魯棒性——即，模型在發(fā)生異常情況，或面對不良數(shù)據(jù)時，自身的“抵抗力”。魯棒性越強的模型，自身的穩(wěn)定性和有效性就越不容易受到內(nèi)外的不良影響，也就自然更加“可靠”，進而能在更廣泛的場景中，為使用者提供生產(chǎn)力提升。
而為了能夠真正幫上用戶“干活”，天工在這兩點上也下足了功夫。
首先，昆侖萬維和奇點智源，從數(shù)十萬億的數(shù)據(jù)中，通過層層清洗和篩選，得到了三萬億的高質(zhì)量單詞數(shù)據(jù)，供給天工完成訓練。
其次，昆侖萬維在2020年開始，就在AI領(lǐng)域開始布局，以“天工巧繪”、“天工樂府”、“天工妙筆”、“天工智碼”四個開源AIGC模型為旗幟，在自家的開源社區(qū)匯集了百位開源社區(qū)AI科學家，積累了深厚的開源社區(qū)力量。
同時，天工在大規(guī)模與訓練的基礎(chǔ)上，針對不同的情況，進行了場景化的微調(diào)，讓天工能夠應(yīng)對更多的場景，并且提供高效、個性化的幫助。
無論從事法律工作，還是醫(yī)健、財務(wù)等，天工都能在專業(yè)角度提供幫助：
不僅如此，面對教育場景，天工也能輕松應(yīng)對，無論是數(shù)學、物理，還是歷史、政治，天工的輔導也堪稱專業(yè)，幫助家長省區(qū)了不少時間：
除此之外，AI 大模型產(chǎn)品常常落后于時代，數(shù)據(jù)庫無法和當下的最新信息接軌，也是常常被外界詬病的原因之一：不能提供最新的知識，AI 又該怎么為使用者解決日新月異出現(xiàn)的問題呢？
由此，AI 對話的實時性，也自然而然地成為了評判大模型能否提供生產(chǎn)力的重要標準。
在這個維度，天工依靠大模型強大的智能涌現(xiàn)能力，與實時知識庫打通后，達到了能夠?qū)崟r迭代知識的效果，讓用戶能夠?qū)崟r通過 AI 獲得最新的信息，不再“落后于時代”：
談到大模型的能力，繞不開的一個概念，就是“涌現(xiàn)”。
簡單來說，“涌現(xiàn)”，指的是預(yù)訓練 AI 在訓練參數(shù)達到一定量級時， 表現(xiàn)將突然呈現(xiàn)指數(shù)級的上升，甚至獲得沒有被專門訓練過的能力。
在業(yè)界的普遍認識中，500-600億規(guī)模的訓練參數(shù)，是預(yù)訓練大模型產(chǎn)生涌現(xiàn)現(xiàn)象的門檻。而參數(shù)規(guī)模越大，一般認為，模型的能力也就越強。
于是，千億參數(shù)，目前已經(jīng)成了大模型的“標配”，時下不少大模型產(chǎn)品，都把自己叫做“千億模型”，以參數(shù)量見模型實力。
但在當下，卻也有人問出了一個問題：
要讓大模型提供生產(chǎn)力，千億模型，一個就夠了？
對于昆侖萬維和奇點智源來說，他們理想中 AI 大模型的底層架構(gòu)，是由“千億預(yù)訓練基座模型”，和“千億RLHF模型”——兩個千億模型搭起來的。
前者，千億預(yù)訓練基座模型，主要負責各種自然語言處理任務(wù)，可以實現(xiàn)語言生成、文本分類、機器翻譯等功能。
后者，千億RLHF（人類反饋深度學習）模型，則會通過人類對 AI 輸出結(jié)果的反饋，來改善強化學習的性能。
如果把預(yù)訓練基座模型，比作一個讀書破萬卷、天資聰穎的“學神”；那么RLHF模型，則像是一個在刷題中不斷試錯、進步的“學霸”。
在今天，看到了 ChatGPT 在 AI 領(lǐng)域的突飛猛進，RLHF 也正逐漸成為了不少大模型的標配。而天工使用了預(yù)訓練基座模型+RLHF的模型體系，讓兩個模型相互映照配合，也有深意。
一邊，是雙千億模型的結(jié)構(gòu)，能讓最終的模型性能獲得更大的提升，也能讓模型的可解釋性與學習能力、任務(wù)支持大大增強。
一邊，是訓練時間和資源消耗的降低——預(yù)訓練模型所學習的通用特征，可以作為RLHF模型的初始參數(shù)，讓訓練這個最“燒錢”的項目，能夠多快好省地完成。
在上文中提到的，模型對于異常情況和不良數(shù)據(jù)的魯棒性，很大程度上，也是通過兩個千億模型“雙劍合璧”，進而實現(xiàn)的。
再高的大廈，功夫最重也是在基礎(chǔ)。雙千億模型，是天工能夠成為生產(chǎn)力工具，最重要的頂層設(shè)計之一。昆侖萬維和奇點智源，在規(guī)劃技術(shù)路徑之初，就已經(jīng)看到了當下大模型產(chǎn)品的設(shè)計局限，與雙千億模型可行的技術(shù)路徑，并以此為基礎(chǔ)，將整個天工搭建于其上。
如同一棵樹木，擁有了健康、堅固的根系，才能長成粗壯的樹干、茂密的枝椏，豐饒的果實才能生長出來，最終成為人們的收獲。
過去的幾年里，科技圈已經(jīng)見過了太多的風口，來了又去，最終雁過無痕。
歸根結(jié)底，在風口正盛的時候，這些人們對未來的想象，并沒有能夠化為實際的生產(chǎn)力，推動業(yè)界乃至整個社會向前進步，最終當熱潮涌過，大概避免不了沉寂的命運。
于是，在這一波生成式 AI 的風口，也有人問：這次會不會和之前一樣，潮起潮退，沙灘上只留下一批一批的“裸泳者”？
如果 2023 年的 AI 創(chuàng)業(yè)者們，不甘于止步于空談，那他們就應(yīng)該知道：大模型不應(yīng)該只是一個美好卻空洞的花瓶。AI 應(yīng)該成為下一個十年的內(nèi)燃機和交流電，推動下一次產(chǎn)業(yè)革命。
在這個過程中，天工想要做的，一直是一個生產(chǎn)力工具，一個“真正能幫你干活的 AI”。
也正是基于此，天工從中國最大GPU集群支撐的超強算力出發(fā)，打造了雙千億模型體系，并在AI開源社區(qū)的共同助力下，開創(chuàng)性地把蒙特卡洛樹搜索算法，與NLP技術(shù)相結(jié)合，保證了AI 可以為使用者提供實打?qū)嵉纳a(chǎn)力賦能。
什么樣的大模型，才能成為生產(chǎn)力？天工的模式，可以說為大模型賽道的其他競逐者——無論是先發(fā)的，還是后來的——打了一個樣。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
