下周蘋果即將召開發(fā)布會了！

但最令筆者期待的不是 iphone16，而是蘋果今年提出的 Apple Intelligence 的進(jìn)展，這是蘋果今年進(jìn)軍端側(cè) AI 的一大殺手锏。

其實(shí)早在今年年初，國內(nèi)就有一家當(dāng)時還名不見經(jīng)傳的大模型公司率先喊出 “端側(cè)AI是未來大趨勢”的口號，當(dāng)時還沒有太多玩家意識到端側(cè)AI的重要性。僅僅半年后，谷歌、蘋果等巨頭就紛紛掉頭轉(zhuǎn)向，開始大模型反卷小型化，就連 OpenAI 也一反“大力出奇跡”的常態(tài)，不得不順應(yīng)端側(cè)AI大趨勢，推出的更小、更便宜、更高效的 GPT-4o mini。

可以說，端側(cè)AI 已然成為了大模型必爭之地！

然而就在蘋果發(fā)布會一周前這個時間點(diǎn)，同樣是這家國內(nèi)大模型公司，率先把「 ChatGPT 」跑在了端側(cè)！宣告了端側(cè) ChatGPT 時刻的到來！而且還在趕在OpenAI、谷歌、蘋果等巨頭之前。

沒錯，這家公司就是面壁智能，今天剛剛發(fā)布了新一代基座模型面壁小鋼炮 MiniCPM 3.0 ，再次以小博大，以 4B 參數(shù)，帶來超越 GPT-3.5 的性能，強(qiáng)得不像端側(cè)模型。

這還是一款瑞士軍刀般全面開掛的基座模型，一口氣帶來：

無限長文本，榜單性能超越 Kimi，超長文本也不崩；

性能比肩 GPT-4o 的端側(cè)最強(qiáng) Function Calling；

超強(qiáng) RAG 外掛三件套，中文檢索第一、生成超 Llama3-8B。

?  MiniCPM 3.0 開源地址：

GitHub：https://github.com/OpenBMB/MiniCPM

HuggingFace：https://huggingface.co/openbmb/MiniCPM3-4B

1.讓 「GPT-3.5 」在端側(cè)跑起來，面壁提前兌現(xiàn)承諾

今年年初，面壁在初代面壁小鋼炮發(fā)布時立下 Flag：今年內(nèi)讓 GPT-3.5 水平的模型在端側(cè)跑起來！

沒想到，面壁智能總是能給人驚喜，他們提前兌現(xiàn)了承諾，提前近 4 個月將其實(shí)現(xiàn)！

MiniCPM 3.0 再次挖掘端側(cè)模型的極致性能，僅 4B 參數(shù)，在包括自然語言理解、知識、代碼、數(shù)學(xué)等多項(xiàng)能力上對 GPT-3.5 實(shí)現(xiàn)趕超，在 Qwen2-7B、 Phi-3.5、GLM4-9B、LLaMa3-8B 等一眾中外知名模型脫穎而出。

2.大模型科學(xué)化方法論指導(dǎo)，面壁定律再落一子

為何每一代面壁小鋼炮基座模型的發(fā)布，都以小博大，擁有超預(yù)期的高效與強(qiáng)悍？

背后原因，AI科技評論早在半年前就曾深入挖掘并報道：被低估的面壁：打造出不輸 OpenAI 的 Scaling Law 曲線

面壁緊緊圍繞 Scaling Law 的核心，高效構(gòu)建了大模型的科學(xué)化方法論，將提升知識密度視為高效大模型的第一性原理（知識密度 =模型能力/參與計算的模型參數(shù)），并且提出了大模型時代的「摩爾定律」：模型知識密度不斷提升，平均每 8 個月提升一倍，稱之為「面壁定律」。

這一年來，面壁在自家的大模型科學(xué)化方法論指導(dǎo)下，歷經(jīng)數(shù)次調(diào)整，構(gòu)建了全新技術(shù)架構(gòu)，于面壁定律的趨勢曲線再落一子。

不止是基座模型，面壁的多模態(tài)模型同樣優(yōu)秀的不像是款端側(cè)模型！

他們一個月前發(fā)布的 MiniCPM-V 2.6，首次在端側(cè)實(shí)現(xiàn)單圖、多圖、視頻理解等多模態(tài)核心能力全面超越GPT-4V，三項(xiàng)能力均取得 20B 以下 SOTA 成績，單圖理解越級比肩 Gemini 1.5 Pro 和 GPT-4o mini。

總結(jié)來說：

基座模型方面：面壁率先讓 「GPT-3.5 」在端側(cè)跑起來；

多模態(tài)模型方面：面壁同樣率先讓「GPT-4V」跑在手機(jī)上！

下面詳細(xì)介紹一下面壁新一代性能超越 GPT-3.5的 面壁小鋼炮 MiniCPM 3.0。

3.頂尖實(shí)力大集結(jié)，大模型中的“瑞士軍刀”

新一代小鋼炮集長文本、Function Call 與 RAG 等大模型重要能力于一身，小而強(qiáng)，小而全。僅4B體量，在這些呼聲極高的模型功能上，MiniCPM 3.0 集結(jié)各家所長，并且對業(yè)界頗有口碑的模型實(shí)現(xiàn)超越，堪稱是大模型中的“瑞士軍刀”。

面壁「無限」長文本，性能超 Kimi：長長長文本不崩！

上下文長度是衡量大模型基礎(chǔ)能力的一項(xiàng)重要指標(biāo)，更長的上下文長度意味大模型擁有更大的“內(nèi)存”和更長的“記憶”，不僅能提高大模型處理數(shù)據(jù)的能力上限，還能拓寬大模型應(yīng)用的廣度和深度。

面壁提出 LLMxMapReduce長本文分幀處理技術(shù)  ，一舉實(shí)現(xiàn)「無限」長文本！32, 128, 256, 512K…MiniCPM 3.0 打破大模型記憶限制，可以將上下文長度無限穩(wěn)定拓展，想多長就多長！

除了超越 GPT-4、KimiChat 等標(biāo)桿模型的優(yōu)異表現(xiàn)（ InfiniteBench 榜單成績）；更神奇的是，文本越長，這個4B小鋼炮憑借愈加穩(wěn)定的表現(xiàn)，展現(xiàn)出的性能優(yōu)勢越強(qiáng)。

InfiniteBench大模型長文本能力的權(quán)威評測集 檢索、數(shù)學(xué)、代碼、問答和摘要等多維度能力評估

① MiniCPM 3.0 表現(xiàn)超越 GPT-4、KimiChat、Qwen2-70B；

② 千億模型 Qwen2-70B、Llama3-70b 結(jié)合LLMxMapReduce也取得更佳表現(xiàn)。

InfiniteBench Zh.QA 評測結(jié)果顯示，4B參數(shù)的面壁小鋼炮整體性能優(yōu)于Kimi，在更長的文本上表現(xiàn)出相較更強(qiáng)的穩(wěn)定性。

LLMxMapReduce 技術(shù)框架圖

擁有無限上下文， 可以讓模型一次性讀取不限字?jǐn)?shù)的書籍或不限量的學(xué)術(shù)論文、簡歷等材料，成為你身邊更加強(qiáng)大的終端個人助手。模型還可以讀取你的大眾點(diǎn)評美食、酒店評價、微博互動內(nèi)容，并牢牢記住你和AI 跨越多年的聊天記錄，成為最懂你的AI陪伴者。

GPT-4o 級 Function calling ，終端Agent應(yīng)用蓄勢待發(fā)

智能體應(yīng)用是端側(cè)AI 必爭之地，其中一項(xiàng)至關(guān)重要的技術(shù)是 Function Calling（函數(shù)調(diào)用），它能夠?qū)⒂脩裟：妮斎胝Z義轉(zhuǎn)換為機(jī)器可以精確理解執(zhí)行的結(jié)構(gòu)化指令，并讓大模型連接外部工具和系統(tǒng)，例如通過語音在手機(jī)上調(diào)用日歷、天氣、郵件、瀏覽器等 APP 或相冊、文件等本地數(shù)據(jù)庫，從而打開終端設(shè)備 Agent 應(yīng)用的無限可能，也讓人機(jī)交互更加自然和方便。

MiniCPM 3.0 擁有端側(cè)最強(qiáng) Function calling 性能 ，在權(quán)威評測榜單 Berkeley Function-Calling Leaderboard 上，其性能接近 GPT-4o，并超越 Llama 3.1-8B、Qwen-2-7B、GLM-4-9B 等眾多模型。

RAG 外掛三件套，中文檢索第一，生成超 Llama3-8B

端側(cè)模型也能開外掛，RAG（檢索增強(qiáng)生成技術(shù)）讓模型引用外部知識庫，檢索到最新、最可靠的專業(yè)知識，確保生成內(nèi)容更加可信，大大減少大模型的幻覺問題。大模型+RAG 在行業(yè)中極其實(shí)用，尤其是對法律、醫(yī)療等依賴專業(yè)知識庫、對大模型幻覺容忍度極低的垂直行業(yè)。

我們一口氣帶來超強(qiáng) RAG 外掛三件套：MiniCPM-Embedding（檢索模型）、MiniCPM-Reranker（重排序模型）和面向 RAG 場景的 LoRA 插件（生成模型），款款優(yōu)秀：

MiniCPM-Embedding（檢索模型）中英跨語言檢索取得 SOTA 性能，在評估模型文本嵌入能力的權(quán)威評測集 MTEB 的檢索榜單上中文第一、英文第十三 ；

MiniCPM-Reranker（重排序模型）在中文、英文、中英跨語言測試上取得 SOTA 性能 ；

經(jīng)過針對 RAG 場景的 LoRA 訓(xùn)練后，MiniCPM 3.0-RAG-LoRA 在開放域問答（NQ、TQA、MARCO）、多跳問答（HotpotQA）、對話（WoW）、事實(shí)核查（FEVER）和信息填充（T-REx）等多項(xiàng)任務(wù)上的性能表現(xiàn)，超越 Llama3-8B 和 Baichuan2-13B 等業(yè)內(nèi)優(yōu)秀模型。

4.安全，可靠，皮實(shí)，端側(cè)大模型就看面壁小鋼炮

輕、快、高效低成本，更友好的端側(cè)體驗(yàn)，是面壁小鋼炮系列一以貫之的優(yōu)點(diǎn)。MiniCPM 3.0 量化后僅 2.2 G 內(nèi)存，端側(cè)應(yīng)用十分友好。

相比云端模型，面壁小鋼炮 MiniCPM 系列模型有一顆陪你行走世界的大心臟，天然具有弱網(wǎng)、斷網(wǎng)可用、超低時延、數(shù)據(jù)隱私安全等本地優(yōu)勢。無論是陪你闖蕩精彩遠(yuǎn)方、勇敢探索，還是將眼前的瑣碎默默打理與守護(hù)，MiniCPM都是值得信任的大模型好朋友。

最后，筆者還想聊一下觀察到的面壁智能端側(cè)AI的下一步。

5.面壁小鋼炮+機(jī)器人，開啟具身智能無限可能

大模型與機(jī)器人融合的 “具身智能”，是未來十年最令人期待的科技突破之一！

最近，面壁小鋼炮 MiniCPM 端側(cè)模型在這方面邁出了關(guān)鍵一步。

一是聯(lián)手加速進(jìn)化機(jī)器人，打造出完整“具身智能”的先驅(qū)方案，業(yè)界首個高效端側(cè)模型運(yùn)行在人形機(jī)器人的演示，理解、推理、并與物理世界互動的智能系統(tǒng)，這激動人心的未來場景，已拉開帷幕！

二是聯(lián)手大象機(jī)器人。前些天 MiniCPM 端側(cè)模型將植入大象機(jī)器人旗下仿真陪伴寵物機(jī)器人 metaCat 米塔貓，高效端側(cè)模型能夠顯著提升仿真機(jī)器寵物“類生命體”的智能交互體驗(yàn)：不依賴網(wǎng)絡(luò)，不需要復(fù)雜的硬件改造，以更自由更自然的交互，讓機(jī)器萌寵觸發(fā)聲、光、電、動作響應(yīng)，仿真感更強(qiáng)，情感陪伴更加逼真。

面壁小鋼炮 MiniCPM 端側(cè)模型之前在 PC、平板、手機(jī)已有實(shí)際運(yùn)行，最近面壁智能與加速進(jìn)化機(jī)器人和大象機(jī)器人的合作，讓筆者看到了面壁智能從端側(cè)AI+機(jī)器人方向切入具身智能的無限可能。觸角也伸入智能座艙，面壁聯(lián)合MTK，為梧桐科技提供了MiniCPM車載多模態(tài)大模型，實(shí)現(xiàn)艙駕協(xié)控相關(guān)的功能控制，包括知識查詢和人-車-環(huán)境感知融合的多模態(tài)增強(qiáng)理解模塊，成為梧桐科技A I座艙芯算一體的端側(cè)大模型重要合作伙伴！

未來大模型+機(jī)器人演化出終極形態(tài)，端側(cè)智能無處不在，面壁智能天地廣闊。

雷峰網(wǎng)(公眾號：雷峰網(wǎng))

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。