作者：賴文昕

編輯：陳彩嫻

2024 年已經過半，大模型技術的角逐也逐漸從上半場的「百模大戰(zhàn)」轉向下半場聚焦落地「千行百業(yè)」的產業(yè)應用。

過去短短 2 個月以來，全球 AI 界接連開展了數十場發(fā)布會，從海外的英偉達、OpenAI、谷歌、蘋果，到國內的阿里巴巴、字節(jié)跳動、騰訊等一眾企業(yè)紛紛出新，還不約而同地選擇將大模型技術落地到產業(yè)應用之中。

AI 企業(yè)們似乎都在向世界宣告：科幻電影中的 AGI 將成現實。

激動之余，業(yè)內也發(fā)出了一系列冷靜的提問：大模型的殺手級應用出現了嗎？大模型將如何重塑「千行百業(yè)」？什么難點阻礙了大模型落地？又將如何逐一解決呢？

7月5日，2024 世界人工智能大會（WAIC）中的「可信大模型助力產業(yè)創(chuàng)新發(fā)展論壇」在上海世博中心舉行。

論壇由新一代人工智能產業(yè)技術創(chuàng)新戰(zhàn)略聯盟主辦、螞蟻集團承辦、中國網絡空間安全協(xié)會協(xié)辦，圍繞大模型產業(yè)應用的機遇與挑戰(zhàn)展開，聚焦如何構建可信的大模型，以滿足專業(yè)領域的高標準要求，并邀請了螞蟻、華為、智譜、百川、生數科技等一線 AI 企業(yè)代表共同討論大模型應用爆發(fā)的入口與未來。

「大模型正在改變科研與產業(yè)發(fā)展范式，目前正在成為通向 AGI 的最可能路線，全球共計 170 多個大模型，國內呈現百模千態(tài)的競爭局面?！郭i城實驗室主任、中國工程院院士高文在會上表示，「撬動 X 萬億級機會已經到了?！?/p>

在氣溫高達 40 度的上海，一場關于可信大模型應用落地的熱烈討論就此展開。

可信大模型落地應用，面臨哪些問題？

可信人工智能是一個十分廣泛的概念，但用戶對可信 AI 的期望集中在四個核心特征上——專業(yè)性、可控性、真實性與安全性。

具體而言，第一，AI 在場景中的應用須適應從非專業(yè)到專業(yè)場景的需求；第二，鑒于 Transformer 注意力機制作為概率輸出模型，天生具有不可控的機理，AI 須具備可預測和穩(wěn)定的性能；第三，面對大模型可能產生的信息幻覺，確保內容的準確性和真實性是一大挑戰(zhàn)；最后，必須包括內容安全、數據保護和網絡安全，才能滿足用戶對 AI 應用的整體安全需求。

那么，該如何確保大模型在應用落地過程中的安全和可信度呢？

「大模型落地的最后一公里，需要一個系統(tǒng)化的方法論來保障大模型應用側落地過程中的可信?！怪袊畔⑼ㄐ叛芯吭喝斯ぶ悄苎芯克L魏凱在論壇上強調。

首先，必須從數據源頭著手，確保訓練和微調數據的質量，因為數據的質量直接影響模型的輸出和可信度。對于「千行百業(yè)」的用戶而言，預訓練并非最大痛點，微調數據的質量管控和數據治理至關重要，卻也是目前相對薄弱的環(huán)節(jié)，因此，在數據集供給上要完善面向大模型的數據治理與數據工程。

其次，模型的專業(yè)增強是重點。為了滿足越來越高的專業(yè)性要求，在知識工程、專業(yè)知識注入和價值對齊上都需要保障模型輸出內容的專業(yè)性。通過將知識計算技術與模型的概率推理相結合，可以增強模型對常識和可控性的能力。

第三，內容生成的可控性需格外關注。盡管存在多種檢索生成增強的技術方案，但大模型往往存在自我認知的局限性，因此清晰界定其能力邊界十分關鍵。為了使基座模型在生產場景中發(fā)揮作用，通常需要將大模型作為一個智能體的核心中樞，將其與具體的外掛知識庫工具結合、封裝成智能體，賦予其規(guī)劃、調用工具與執(zhí)行的能力，并應用在特定的行業(yè)場景中。

第四，持續(xù)迭代對于大模型的適應性和性能至關重要。大模型需要像實習生一樣，通過不斷的監(jiān)測、調優(yōu)和提升來適應信息系統(tǒng)服務的需求，即構建出「反饋-迭代-優(yōu)化」的循環(huán)體系，推動大模型專業(yè)應用在金融、醫(yī)療、民生等領域不斷進階。

最后，評測機制是確保大模型可信度的關鍵。由于大模型的行為和能力往往難以直觀解釋，因此需要通過評測來掌握其全生命周期的表現，不僅在研發(fā)環(huán)節(jié)，更重要的是在實際場景中對大模型的基本能力進行評估，即從模塊化、系統(tǒng)級、端到端多層面構建面向產業(yè)應用的大模型測評體系。

「人工智能與人類一樣，是一個復雜系統(tǒng)，會產生多種可能性。我們要聽其言、觀其行，用實踐去檢驗是否與現實相符，100%的可信是不可能的，但我們可以根據它的輸出、交互來構建一個如科學技術、知識、社會規(guī)則、法律等共識，在共識中形成一定的可信?！?/p>

智源研究院理事長、新一代人工智能產業(yè)技術創(chuàng)新戰(zhàn)略聯盟秘書長黃鐵軍提出了 AGI 分級的具體建議，他認為，目前 AI 仍處于 L0 級的生成式人工智能（GAI）階段，認知低于人類，只能替代部分人類智能，存在善用、誤用、濫用與惡用的可能。

不過，L1 認知超人的階段并不遙遠，這意味著彼時人類可以躺平、理性信任 AI。黃鐵軍推測，未來3年，大模型將擴展到視覺、聽覺、具身、行動等通用智能，規(guī)模變大，尺寸變小，成為具身智能的「大腦」。

解法：垂域大模型、多模態(tài)技術與 AI 智能體

論壇中，關于可信大模型如何在應用具體落地，呈現出了多種解法，大家不約而同地開展了對垂域大模型、多模態(tài)技術與 AI 智能體的探索。

在專業(yè)領域，用戶通常追求大模型的深度而非廣度，即垂直領域大模型。這類模型專注于特定行業(yè)的需求，通過使用高質量的行業(yè)語料庫進行訓練，以實現對行業(yè)知識的深入理解和應用。

浙江大學人工智能研究所所長、求是特聘教授、國家杰青獲得者吳飛分享了智海系列垂直領域大模型與人工智能體的最新成果。

例如，浙江大學聯合阿里巴巴達摩院與華院計算共同研制的司法領域大模型「智海-錄問」，它在輔助庭審案件處理中表現出色，處理案件超過1.5萬件，當庭宣判率達到90%以上，裁判文書的完整度更是達到了95%以上，顯著提升了審判效率近40%。

在教育領域，「智海-三樂」AI 教育垂直大模型，致力于超越傳統(tǒng)教材的局限，鼓勵教師進行創(chuàng)造性教學，同時滿足學生個性化學習的需求。目前已在高等教育司云服務平臺上開放，供全國高校使用該教材的學生學習。

此外，「智海-金磐」大模型專注于零售金融領域，整合了金融書籍、學術論文、金融知識圖譜和金融對話文本等多種數據源，以實現對金融知識的深度學習和應用；「跨媒體大模型」還涉及詩詞短視頻合成和化合物合成的不同領域，通過結合不同形式的數據進一步拓展了 AI 的邊界。

「如果每個學科都能擁有自己的專業(yè)大模型，并將這些模型相互連接，將形成一個強大的跨學科知識網絡?！箙秋w說道，「通過這些實踐，我們可以看到垂直領域大模型在提升專業(yè)效率、促進教育創(chuàng)新和推動跨學科融合方面的巨大潛力?！?/p>

除了「做小做?！沟拇褂虼竽Ｐ?，被視為重要突破點的多模態(tài)技術同樣有新動態(tài)。

螞蟻集團副總裁徐鵬介紹了螞蟻百靈大模型的最新研發(fā)成果，升級后的「原生多模態(tài)模型」實現了規(guī)模與模態(tài)的雙重突破。

在規(guī)模上，團隊積累了萬億級別的文本語料與百億級圖文、視頻、音頻數據，創(chuàng)新「跨模動態(tài)對齊」技術，融合大語言模型，實現千億參數視覺語言模型。

在模態(tài)上，團隊建設模態(tài)動態(tài)拓展算法架構，由橋接向原生跨越，支持音、視、圖、文等模態(tài)，達到業(yè)界一流水平，無論是上下文生成還是上下文理解，都能展現出亮眼的效果。比如，在輸入狗吠聲后，螞蟻百靈大模型能框出并識別圖片中的寵物狗。

基于百靈多模態(tài)大模型在圖文對話、視頻理解、圖像視頻生產及語音理解生成的能力，一批能看、能聽、能說的原生多模態(tài)應用就此誕生，解鎖了智能助理、搜索推薦、互動娛樂、創(chuàng)意生成、數字人與審核認證等多種場景。

兩個月前，搭載 GPT-4o 的 ChatGPT 展現了驚人的多模態(tài)能力。在論壇中，百靈多模態(tài)大模型同樣展示出與之媲美的水平。

例如，打開自拍鏡頭后詢問服裝搭配建議，百靈多模態(tài)大模型能結合具體場合與天氣提示著裝；使用后置鏡頭，百靈能語音告知用戶看哪些藥能吃、怎么吃；對著一堆食材，百靈還能教用戶做飯，并根據用戶喜好變換菜單。

值得一提的是，在百靈多模態(tài)大模型賦能下，支付寶智能助理能讓 AI 像「掃碼支付」一樣觸手可及，為用戶提供出行、健康、政務、金融等領域的超 8000 項數字生活服務。

同時，支付寶智能助理也將成為專業(yè)智能體生態(tài)的平臺入口。用戶通過與智能助理的對話，就能一鍵連接生活、金融、醫(yī)療等垂直行業(yè)的 AI 智能體，獲得更專業(yè)豐富的服務，擁有專屬的智能生活管家、金融管家與醫(yī)療健康管家。

螞蟻集團聚焦推動大模型落地嚴謹產業(yè)

那么，在「千行百業(yè)」之中，哪些行業(yè)和場景將會最早被大模型重塑？又會以何種形式出現呢？

在 CSDN 創(chuàng)始人、董事長蔣濤的主持下，一眾大模型從業(yè)者們給出了自己的思考。

百川智能副總裁鄧江表示，國內基座模型能力在過去一年顯著提升，已接近世界先進水平，且迭代速度快，預示著今年將有更多應用場景落地，尤其在醫(yī)療、金融和法律等知識密集型行業(yè)。

「大模型目前的水平相當于二本或一本，不是取代誰，而是作為工具和助手存在，比如讓智能體輔助醫(yī)生進行基礎病的問診和排查?！?/p>

智譜 AI 董事長劉德兵認為，智能體將會是未來的爆款應用，可以連接人與大模型，解決人的問題。同時，大模型應用的核心在于與行業(yè)用戶的深度合作，利用行業(yè)特定場景和數據進行深層次開發(fā)，應用范圍廣泛，不僅限于對話和多模態(tài)語言，也包括處理時空和時序數據。

「目前我們的平臺已有超過40萬智能體被使用，許多用戶基于自己的需求在其中創(chuàng)建智能體，且一些智能體在遵循用戶設定的規(guī)則、工具和知識庫方面表現卓越?！?/p>

生數科技聯合創(chuàng)始人兼 CEO 唐家渝則指出，當前的底層技術還處于相對比較前期的狀態(tài)。生數科技聯合清華大學在4月對標 Sora，發(fā)布了中國首個長時長、高一致性、高動態(tài)性視頻大模型「Vidu」，其時長、聲音等技術在6月也有了顯著提升。

但是在落地過程中，唐家渝發(fā)現，無論是與影視機構、產業(yè)，還是同C端創(chuàng)作者的合作，總體在生成成功率方面仍存在進步空間。

唐家渝提出，未來可能沒有超級 APP，而是更多專注于特定應用的智能體，這將是大模型時代的特點。他強調了結合現有場景進行 AI 落地和能力打磨的重要性，指出無論是 C 端還是 B 端，都需要進行深入的垂直化和領域化工作。

「當體驗得到極大提升時，有潛力催生爆款應用。以創(chuàng)作領域為例，AI 可以激發(fā)人們未被充分利用的想象力和創(chuàng)造力，就像攝影從膠片、數碼到手機的發(fā)展，拍照變得愈發(fā)普及，AI 也能在 C 端應用中帶來類似的爆發(fā)性增長?！?/p>

華為公司人工智能戰(zhàn)略與產業(yè)發(fā)展副總裁秦堯則強調了數據的重要性，包括數據的可獲取性、版權問題、定價問題，以及數據的高效質量和對大模型訓練的影響。

「在數據較易獲取的行業(yè)，大模型的應用更有可能取得突破。但數據質量問題尤其重要，有些數據雖能被大量抓取，使用后卻可能導致大模型訓練效果變差。」

螞蟻集團副總裁徐鵬認為，B端與C端的應用需求爆發(fā)緊密相關，大模型技術可以幫助醫(yī)療、教育、金融等領域的專業(yè)人士提高服務效率，滿足更多人的高質量服務需求。

「其實有很多人需要得到更好的服務，但苦于得不到資源，如果大模型能幫助醫(yī)生、理財師、教師等創(chuàng)業(yè)者，將一個人的力量放大至十倍、百倍，爆發(fā)便指日可待了?！?/p>

在一眾知識密集行業(yè)中，正加速擁抱數智化的醫(yī)療行業(yè)顯然是最受關切的領域之一。

在論壇的最后，螞蟻集團發(fā)布了支付寶多模態(tài)醫(yī)療大模型，并啟動了合作伙伴 AI 共建計劃，以推動大模型落地嚴謹產業(yè)。

在百靈多模態(tài)大模型的賦能下，支付寶醫(yī)療大模型實現千億級別參數的視覺語言識別，報告、藥物等識別準確率高達 90%，中英文醫(yī)療水平測試超越 GPT-4，在 PromptCBLUE 中實現 A 榜第一，B榜第二。

另外，百靈醫(yī)療可信一體機的算力支持實現國產化的訓推一體，交付周期降低90%；同時使用醫(yī)療可信云進行密態(tài)計算，使數據可用不可見，保障患者的隱私安全。

在此基礎上，螞蟻還推出了全國首個數字健康人、浙江衛(wèi)健委「安診兒」，全國首個醫(yī)保經辦機器人、杭州醫(yī)保局「醫(yī)保小智」，上海首個AI數字陪診師、上海市一「公濟小壹」，以及全國首個生成式電子病歷、上海市一眼科 AI 電子病歷。

在多模態(tài)能力方面，多模態(tài)醫(yī)療大模型在報告類型和關鍵信息抽?。ó惓Ｖ笜?、報告診斷）的準確率達到 95%，藥品類型識別和用藥建議識別準確率達 90%，毛發(fā)診療中脫發(fā)等級準確率達到 90%，治療方案VQA準確率達 85%。

寫在最后

從 2023 年 11 月份完成備案起，螞蟻百靈大模型已經度過了數次迭代升級，萬卡異構集群、千億規(guī)模參數和萬億級語料成為了亮眼的「標配」。

在 AI 技術與安全重要性的長久辯論中，螞蟻集團決心要做「兩手都要抓，兩手都要硬」的能手。

若以安全性與有用性作為X、Y軸，采用多源反饋強化學習的百靈大模型顯然正朝著第一象限前進：基于完善 RLHF 框架提升百靈大模型的安全可信，同時基于 DPO 支持下游場景快速微調優(yōu)化。

而在不久前的螞蟻技術日現場，螞蟻集團 CTO 何征宇提出，目前 AI 大模型仍處在「鉆木取火」階段，未來走向規(guī)?；瘧?，仍需要攻堅可靠性、經濟性、易用性三大挑戰(zhàn)。

以螞蟻為代表的企業(yè)開始紛紛推動大模型落地嚴謹產業(yè)，爆款產業(yè)應用的未來也許就在不遠的前方。

打造真實準確的可信大模型將切實助力賦能千行百業(yè)，激發(fā)創(chuàng)新動力，拉動發(fā)展引擎。大模型產業(yè)發(fā)展需要產學研用各界共同參與，共同推動。未來，新一代人工智能產業(yè)技術創(chuàng)新戰(zhàn)略聯盟將繼續(xù)發(fā)揮社會團體協(xié)調資源的重要作用，為行業(yè)上下游打造交流平臺，更好推動大模型產業(yè)發(fā)展。

本文作者 anna042023 將持續(xù)關注AI大模型領域的人事、企業(yè)、商業(yè)應用以及行業(yè)發(fā)展趨勢，歡迎添加交流，互通有無。

雷峰網(公眾號：雷峰網)雷峰網

雷峰網原創(chuàng)文章，未經授權禁止轉載。詳情見轉載須知。