作者：賴文昕

編輯：陳彩嫻

2024 年已經(jīng)過半，大模型技術(shù)的角逐也逐漸從上半場的「百模大戰(zhàn)」轉(zhuǎn)向下半場聚焦落地「千行百業(yè)」的產(chǎn)業(yè)應(yīng)用。

過去短短 2 個(gè)月以來，全球 AI 界接連開展了數(shù)十場發(fā)布會(huì)，從海外的英偉達(dá)、OpenAI、谷歌、蘋果，到國內(nèi)的阿里巴巴、字節(jié)跳動(dòng)、騰訊等一眾企業(yè)紛紛出新，還不約而同地選擇將大模型技術(shù)落地到產(chǎn)業(yè)應(yīng)用之中。

AI 企業(yè)們似乎都在向世界宣告：科幻電影中的 AGI 將成現(xiàn)實(shí)。

激動(dòng)之余，業(yè)內(nèi)也發(fā)出了一系列冷靜的提問：大模型的殺手級應(yīng)用出現(xiàn)了嗎？大模型將如何重塑「千行百業(yè)」？什么難點(diǎn)阻礙了大模型落地？又將如何逐一解決呢？

7月5日，2024 世界人工智能大會(huì)（WAIC）中的「可信大模型助力產(chǎn)業(yè)創(chuàng)新發(fā)展論壇」在上海世博中心舉行。

論壇由新一代人工智能產(chǎn)業(yè)技術(shù)創(chuàng)新戰(zhàn)略聯(lián)盟主辦、螞蟻集團(tuán)承辦、中國網(wǎng)絡(luò)空間安全協(xié)會(huì)協(xié)辦，圍繞大模型產(chǎn)業(yè)應(yīng)用的機(jī)遇與挑戰(zhàn)展開，聚焦如何構(gòu)建可信的大模型，以滿足專業(yè)領(lǐng)域的高標(biāo)準(zhǔn)要求，并邀請了螞蟻、華為、智譜、百川、生數(shù)科技等一線 AI 企業(yè)代表共同討論大模型應(yīng)用爆發(fā)的入口與未來。

「大模型正在改變科研與產(chǎn)業(yè)發(fā)展范式，目前正在成為通向 AGI 的最可能路線，全球共計(jì) 170 多個(gè)大模型，國內(nèi)呈現(xiàn)百模千態(tài)的競爭局面?！郭i城實(shí)驗(yàn)室主任、中國工程院院士高文在會(huì)上表示，「撬動(dòng) X 萬億級機(jī)會(huì)已經(jīng)到了?！?/p>

在氣溫高達(dá) 40 度的上海，一場關(guān)于可信大模型應(yīng)用落地的熱烈討論就此展開。

可信大模型落地應(yīng)用，面臨哪些問題？

可信人工智能是一個(gè)十分廣泛的概念，但用戶對可信 AI 的期望集中在四個(gè)核心特征上——專業(yè)性、可控性、真實(shí)性與安全性。

具體而言，第一，AI 在場景中的應(yīng)用須適應(yīng)從非專業(yè)到專業(yè)場景的需求；第二，鑒于 Transformer 注意力機(jī)制作為概率輸出模型，天生具有不可控的機(jī)理，AI 須具備可預(yù)測和穩(wěn)定的性能；第三，面對大模型可能產(chǎn)生的信息幻覺，確保內(nèi)容的準(zhǔn)確性和真實(shí)性是一大挑戰(zhàn)；最后，必須包括內(nèi)容安全、數(shù)據(jù)保護(hù)和網(wǎng)絡(luò)安全，才能滿足用戶對 AI 應(yīng)用的整體安全需求。

那么，該如何確保大模型在應(yīng)用落地過程中的安全和可信度呢？

「大模型落地的最后一公里，需要一個(gè)系統(tǒng)化的方法論來保障大模型應(yīng)用側(cè)落地過程中的可信?！怪袊畔⑼ㄐ叛芯吭喝斯ぶ悄苎芯克L魏凱在論壇上強(qiáng)調(diào)。

首先，必須從數(shù)據(jù)源頭著手，確保訓(xùn)練和微調(diào)數(shù)據(jù)的質(zhì)量，因?yàn)閿?shù)據(jù)的質(zhì)量直接影響模型的輸出和可信度。對于「千行百業(yè)」的用戶而言，預(yù)訓(xùn)練并非最大痛點(diǎn)，微調(diào)數(shù)據(jù)的質(zhì)量管控和數(shù)據(jù)治理至關(guān)重要，卻也是目前相對薄弱的環(huán)節(jié)，因此，在數(shù)據(jù)集供給上要完善面向大模型的數(shù)據(jù)治理與數(shù)據(jù)工程。

其次，模型的專業(yè)增強(qiáng)是重點(diǎn)。為了滿足越來越高的專業(yè)性要求，在知識工程、專業(yè)知識注入和價(jià)值對齊上都需要保障模型輸出內(nèi)容的專業(yè)性。通過將知識計(jì)算技術(shù)與模型的概率推理相結(jié)合，可以增強(qiáng)模型對常識和可控性的能力。

第三，內(nèi)容生成的可控性需格外關(guān)注。盡管存在多種檢索生成增強(qiáng)的技術(shù)方案，但大模型往往存在自我認(rèn)知的局限性，因此清晰界定其能力邊界十分關(guān)鍵。為了使基座模型在生產(chǎn)場景中發(fā)揮作用，通常需要將大模型作為一個(gè)智能體的核心中樞，將其與具體的外掛知識庫工具結(jié)合、封裝成智能體，賦予其規(guī)劃、調(diào)用工具與執(zhí)行的能力，并應(yīng)用在特定的行業(yè)場景中。

第四，持續(xù)迭代對于大模型的適應(yīng)性和性能至關(guān)重要。大模型需要像實(shí)習(xí)生一樣，通過不斷的監(jiān)測、調(diào)優(yōu)和提升來適應(yīng)信息系統(tǒng)服務(wù)的需求，即構(gòu)建出「反饋-迭代-優(yōu)化」的循環(huán)體系，推動(dòng)大模型專業(yè)應(yīng)用在金融、醫(yī)療、民生等領(lǐng)域不斷進(jìn)階。

最后，評測機(jī)制是確保大模型可信度的關(guān)鍵。由于大模型的行為和能力往往難以直觀解釋，因此需要通過評測來掌握其全生命周期的表現(xiàn)，不僅在研發(fā)環(huán)節(jié)，更重要的是在實(shí)際場景中對大模型的基本能力進(jìn)行評估，即從模塊化、系統(tǒng)級、端到端多層面構(gòu)建面向產(chǎn)業(yè)應(yīng)用的大模型測評體系。

「人工智能與人類一樣，是一個(gè)復(fù)雜系統(tǒng)，會(huì)產(chǎn)生多種可能性。我們要聽其言、觀其行，用實(shí)踐去檢驗(yàn)是否與現(xiàn)實(shí)相符，100%的可信是不可能的，但我們可以根據(jù)它的輸出、交互來構(gòu)建一個(gè)如科學(xué)技術(shù)、知識、社會(huì)規(guī)則、法律等共識，在共識中形成一定的可信?！?/p>

智源研究院理事長、新一代人工智能產(chǎn)業(yè)技術(shù)創(chuàng)新戰(zhàn)略聯(lián)盟秘書長黃鐵軍提出了 AGI 分級的具體建議，他認(rèn)為，目前 AI 仍處于 L0 級的生成式人工智能（GAI）階段，認(rèn)知低于人類，只能替代部分人類智能，存在善用、誤用、濫用與惡用的可能。

不過，L1 認(rèn)知超人的階段并不遙遠(yuǎn)，這意味著彼時(shí)人類可以躺平、理性信任 AI。黃鐵軍推測，未來3年，大模型將擴(kuò)展到視覺、聽覺、具身、行動(dòng)等通用智能，規(guī)模變大，尺寸變小，成為具身智能的「大腦」。

解法：垂域大模型、多模態(tài)技術(shù)與 AI 智能體

論壇中，關(guān)于可信大模型如何在應(yīng)用具體落地，呈現(xiàn)出了多種解法，大家不約而同地開展了對垂域大模型、多模態(tài)技術(shù)與 AI 智能體的探索。

在專業(yè)領(lǐng)域，用戶通常追求大模型的深度而非廣度，即垂直領(lǐng)域大模型。這類模型專注于特定行業(yè)的需求，通過使用高質(zhì)量的行業(yè)語料庫進(jìn)行訓(xùn)練，以實(shí)現(xiàn)對行業(yè)知識的深入理解和應(yīng)用。

浙江大學(xué)人工智能研究所所長、求是特聘教授、國家杰青獲得者吳飛分享了智海系列垂直領(lǐng)域大模型與人工智能體的最新成果。

例如，浙江大學(xué)聯(lián)合阿里巴巴達(dá)摩院與華院計(jì)算共同研制的司法領(lǐng)域大模型「智海-錄問」，它在輔助庭審案件處理中表現(xiàn)出色，處理案件超過1.5萬件，當(dāng)庭宣判率達(dá)到90%以上，裁判文書的完整度更是達(dá)到了95%以上，顯著提升了審判效率近40%。

在教育領(lǐng)域，「智海-三樂」AI 教育垂直大模型，致力于超越傳統(tǒng)教材的局限，鼓勵(lì)教師進(jìn)行創(chuàng)造性教學(xué)，同時(shí)滿足學(xué)生個(gè)性化學(xué)習(xí)的需求。目前已在高等教育司云服務(wù)平臺上開放，供全國高校使用該教材的學(xué)生學(xué)習(xí)。

此外，「智海-金磐」大模型專注于零售金融領(lǐng)域，整合了金融書籍、學(xué)術(shù)論文、金融知識圖譜和金融對話文本等多種數(shù)據(jù)源，以實(shí)現(xiàn)對金融知識的深度學(xué)習(xí)和應(yīng)用；「跨媒體大模型」還涉及詩詞短視頻合成和化合物合成的不同領(lǐng)域，通過結(jié)合不同形式的數(shù)據(jù)進(jìn)一步拓展了 AI 的邊界。

「如果每個(gè)學(xué)科都能擁有自己的專業(yè)大模型，并將這些模型相互連接，將形成一個(gè)強(qiáng)大的跨學(xué)科知識網(wǎng)絡(luò)。」吳飛說道，「通過這些實(shí)踐，我們可以看到垂直領(lǐng)域大模型在提升專業(yè)效率、促進(jìn)教育創(chuàng)新和推動(dòng)跨學(xué)科融合方面的巨大潛力?！?/p>

除了「做小做?！沟拇褂虼竽Ｐ停灰暈橹匾黄泣c(diǎn)的多模態(tài)技術(shù)同樣有新動(dòng)態(tài)。

螞蟻集團(tuán)副總裁徐鵬介紹了螞蟻百靈大模型的最新研發(fā)成果，升級后的「原生多模態(tài)模型」實(shí)現(xiàn)了規(guī)模與模態(tài)的雙重突破。

在規(guī)模上，團(tuán)隊(duì)積累了萬億級別的文本語料與百億級圖文、視頻、音頻數(shù)據(jù)，創(chuàng)新「跨模動(dòng)態(tài)對齊」技術(shù)，融合大語言模型，實(shí)現(xiàn)千億參數(shù)視覺語言模型。

在模態(tài)上，團(tuán)隊(duì)建設(shè)模態(tài)動(dòng)態(tài)拓展算法架構(gòu)，由橋接向原生跨越，支持音、視、圖、文等模態(tài)，達(dá)到業(yè)界一流水平，無論是上下文生成還是上下文理解，都能展現(xiàn)出亮眼的效果。比如，在輸入狗吠聲后，螞蟻百靈大模型能框出并識別圖片中的寵物狗。

基于百靈多模態(tài)大模型在圖文對話、視頻理解、圖像視頻生產(chǎn)及語音理解生成的能力，一批能看、能聽、能說的原生多模態(tài)應(yīng)用就此誕生，解鎖了智能助理、搜索推薦、互動(dòng)娛樂、創(chuàng)意生成、數(shù)字人與審核認(rèn)證等多種場景。

兩個(gè)月前，搭載 GPT-4o 的 ChatGPT 展現(xiàn)了驚人的多模態(tài)能力。在論壇中，百靈多模態(tài)大模型同樣展示出與之媲美的水平。

例如，打開自拍鏡頭后詢問服裝搭配建議，百靈多模態(tài)大模型能結(jié)合具體場合與天氣提示著裝；使用后置鏡頭，百靈能語音告知用戶看哪些藥能吃、怎么吃；對著一堆食材，百靈還能教用戶做飯，并根據(jù)用戶喜好變換菜單。

值得一提的是，在百靈多模態(tài)大模型賦能下，支付寶智能助理能讓 AI 像「掃碼支付」一樣觸手可及，為用戶提供出行、健康、政務(wù)、金融等領(lǐng)域的超 8000 項(xiàng)數(shù)字生活服務(wù)。

同時(shí)，支付寶智能助理也將成為專業(yè)智能體生態(tài)的平臺入口。用戶通過與智能助理的對話，就能一鍵連接生活、金融、醫(yī)療等垂直行業(yè)的 AI 智能體，獲得更專業(yè)豐富的服務(wù)，擁有專屬的智能生活管家、金融管家與醫(yī)療健康管家。

螞蟻集團(tuán)聚焦推動(dòng)大模型落地嚴(yán)謹(jǐn)產(chǎn)業(yè)

那么，在「千行百業(yè)」之中，哪些行業(yè)和場景將會(huì)最早被大模型重塑？又會(huì)以何種形式出現(xiàn)呢？

在 CSDN 創(chuàng)始人、董事長蔣濤的主持下，一眾大模型從業(yè)者們給出了自己的思考。

百川智能副總裁鄧江表示，國內(nèi)基座模型能力在過去一年顯著提升，已接近世界先進(jìn)水平，且迭代速度快，預(yù)示著今年將有更多應(yīng)用場景落地，尤其在醫(yī)療、金融和法律等知識密集型行業(yè)。

「大模型目前的水平相當(dāng)于二本或一本，不是取代誰，而是作為工具和助手存在，比如讓智能體輔助醫(yī)生進(jìn)行基礎(chǔ)病的問診和排查?！?/p>

智譜 AI 董事長劉德兵認(rèn)為，智能體將會(huì)是未來的爆款應(yīng)用，可以連接人與大模型，解決人的問題。同時(shí)，大模型應(yīng)用的核心在于與行業(yè)用戶的深度合作，利用行業(yè)特定場景和數(shù)據(jù)進(jìn)行深層次開發(fā)，應(yīng)用范圍廣泛，不僅限于對話和多模態(tài)語言，也包括處理時(shí)空和時(shí)序數(shù)據(jù)。

「目前我們的平臺已有超過40萬智能體被使用，許多用戶基于自己的需求在其中創(chuàng)建智能體，且一些智能體在遵循用戶設(shè)定的規(guī)則、工具和知識庫方面表現(xiàn)卓越?！?/p>

生數(shù)科技聯(lián)合創(chuàng)始人兼 CEO 唐家渝則指出，當(dāng)前的底層技術(shù)還處于相對比較前期的狀態(tài)。生數(shù)科技聯(lián)合清華大學(xué)在4月對標(biāo) Sora，發(fā)布了中國首個(gè)長時(shí)長、高一致性、高動(dòng)態(tài)性視頻大模型「Vidu」，其時(shí)長、聲音等技術(shù)在6月也有了顯著提升。

但是在落地過程中，唐家渝發(fā)現(xiàn)，無論是與影視機(jī)構(gòu)、產(chǎn)業(yè)，還是同C端創(chuàng)作者的合作，總體在生成成功率方面仍存在進(jìn)步空間。

唐家渝提出，未來可能沒有超級 APP，而是更多專注于特定應(yīng)用的智能體，這將是大模型時(shí)代的特點(diǎn)。他強(qiáng)調(diào)了結(jié)合現(xiàn)有場景進(jìn)行 AI 落地和能力打磨的重要性，指出無論是 C 端還是 B 端，都需要進(jìn)行深入的垂直化和領(lǐng)域化工作。

「當(dāng)體驗(yàn)得到極大提升時(shí)，有潛力催生爆款應(yīng)用。以創(chuàng)作領(lǐng)域?yàn)槔珹I 可以激發(fā)人們未被充分利用的想象力和創(chuàng)造力，就像攝影從膠片、數(shù)碼到手機(jī)的發(fā)展，拍照變得愈發(fā)普及，AI 也能在 C 端應(yīng)用中帶來類似的爆發(fā)性增長。」

華為公司人工智能戰(zhàn)略與產(chǎn)業(yè)發(fā)展副總裁秦堯則強(qiáng)調(diào)了數(shù)據(jù)的重要性，包括數(shù)據(jù)的可獲取性、版權(quán)問題、定價(jià)問題，以及數(shù)據(jù)的高效質(zhì)量和對大模型訓(xùn)練的影響。

「在數(shù)據(jù)較易獲取的行業(yè)，大模型的應(yīng)用更有可能取得突破。但數(shù)據(jù)質(zhì)量問題尤其重要，有些數(shù)據(jù)雖能被大量抓取，使用后卻可能導(dǎo)致大模型訓(xùn)練效果變差。」

螞蟻集團(tuán)副總裁徐鵬認(rèn)為，B端與C端的應(yīng)用需求爆發(fā)緊密相關(guān)，大模型技術(shù)可以幫助醫(yī)療、教育、金融等領(lǐng)域的專業(yè)人士提高服務(wù)效率，滿足更多人的高質(zhì)量服務(wù)需求。

「其實(shí)有很多人需要得到更好的服務(wù)，但苦于得不到資源，如果大模型能幫助醫(yī)生、理財(cái)師、教師等創(chuàng)業(yè)者，將一個(gè)人的力量放大至十倍、百倍，爆發(fā)便指日可待了?！?/p>

在一眾知識密集行業(yè)中，正加速擁抱數(shù)智化的醫(yī)療行業(yè)顯然是最受關(guān)切的領(lǐng)域之一。

在論壇的最后，螞蟻集團(tuán)發(fā)布了支付寶多模態(tài)醫(yī)療大模型，并啟動(dòng)了合作伙伴 AI 共建計(jì)劃，以推動(dòng)大模型落地嚴(yán)謹(jǐn)產(chǎn)業(yè)。

在百靈多模態(tài)大模型的賦能下，支付寶醫(yī)療大模型實(shí)現(xiàn)千億級別參數(shù)的視覺語言識別，報(bào)告、藥物等識別準(zhǔn)確率高達(dá) 90%，中英文醫(yī)療水平測試超越 GPT-4，在 PromptCBLUE 中實(shí)現(xiàn) A 榜第一，B榜第二。

另外，百靈醫(yī)療可信一體機(jī)的算力支持實(shí)現(xiàn)國產(chǎn)化的訓(xùn)推一體，交付周期降低90%；同時(shí)使用醫(yī)療可信云進(jìn)行密態(tài)計(jì)算，使數(shù)據(jù)可用不可見，保障患者的隱私安全。

在此基礎(chǔ)上，螞蟻還推出了全國首個(gè)數(shù)字健康人、浙江衛(wèi)健委「安診兒」，全國首個(gè)醫(yī)保經(jīng)辦機(jī)器人、杭州醫(yī)保局「醫(yī)保小智」，上海首個(gè)AI數(shù)字陪診師、上海市一「公濟(jì)小壹」，以及全國首個(gè)生成式電子病歷、上海市一眼科 AI 電子病歷。

在多模態(tài)能力方面，多模態(tài)醫(yī)療大模型在報(bào)告類型和關(guān)鍵信息抽?。ó惓Ｖ笜?biāo)、報(bào)告診斷）的準(zhǔn)確率達(dá)到 95%，藥品類型識別和用藥建議識別準(zhǔn)確率達(dá) 90%，毛發(fā)診療中脫發(fā)等級準(zhǔn)確率達(dá)到 90%，治療方案VQA準(zhǔn)確率達(dá) 85%。

寫在最后

從 2023 年 11 月份完成備案起，螞蟻百靈大模型已經(jīng)度過了數(shù)次迭代升級，萬卡異構(gòu)集群、千億規(guī)模參數(shù)和萬億級語料成為了亮眼的「標(biāo)配」。

在 AI 技術(shù)與安全重要性的長久辯論中，螞蟻集團(tuán)決心要做「兩手都要抓，兩手都要硬」的能手。

若以安全性與有用性作為X、Y軸，采用多源反饋強(qiáng)化學(xué)習(xí)的百靈大模型顯然正朝著第一象限前進(jìn)：基于完善 RLHF 框架提升百靈大模型的安全可信，同時(shí)基于 DPO 支持下游場景快速微調(diào)優(yōu)化。

而在不久前的螞蟻技術(shù)日現(xiàn)場，螞蟻集團(tuán) CTO 何征宇提出，目前 AI 大模型仍處在「鉆木取火」階段，未來走向規(guī)模化應(yīng)用，仍需要攻堅(jiān)可靠性、經(jīng)濟(jì)性、易用性三大挑戰(zhàn)。

以螞蟻為代表的企業(yè)開始紛紛推動(dòng)大模型落地嚴(yán)謹(jǐn)產(chǎn)業(yè)，爆款產(chǎn)業(yè)應(yīng)用的未來也許就在不遠(yuǎn)的前方。

打造真實(shí)準(zhǔn)確的可信大模型將切實(shí)助力賦能千行百業(yè)，激發(fā)創(chuàng)新動(dòng)力，拉動(dòng)發(fā)展引擎。大模型產(chǎn)業(yè)發(fā)展需要產(chǎn)學(xué)研用各界共同參與，共同推動(dòng)。未來，新一代人工智能產(chǎn)業(yè)技術(shù)創(chuàng)新戰(zhàn)略聯(lián)盟將繼續(xù)發(fā)揮社會(huì)團(tuán)體協(xié)調(diào)資源的重要作用，為行業(yè)上下游打造交流平臺，更好推動(dòng)大模型產(chǎn)業(yè)發(fā)展。

本文作者 anna042023 將持續(xù)關(guān)注AI大模型領(lǐng)域的人事、企業(yè)、商業(yè)應(yīng)用以及行業(yè)發(fā)展趨勢，歡迎添加交流，互通有無。

雷峰網(wǎng)雷峰網(wǎng)(公眾號：雷峰網(wǎng))

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。