過去一年，中國大模型一直被貼上「追趕美國」的標(biāo)簽，但近日，推特上卻有人曝出：

美國斯坦福大學(xué)的一個 AI 團(tuán)隊疑似抄襲、「套殼」一家中國大模型公司的開源成果，模型架構(gòu)與代碼完全相同。雷峰網(wǎng)

輿論已經(jīng)開始發(fā)酵，引起了圈內(nèi)人士的廣泛討論。雷峰網(wǎng)(公眾號：雷峰網(wǎng))

根據(jù) AI 科技評論整理，事情的經(jīng)過大致如下：

5 月 29 日，斯坦福大學(xué)的一個研究團(tuán)隊發(fā)布了一個名為「Llama3V」的模型，號稱只要 500 美元（約等于人民幣 3650 元）就能訓(xùn)練出一個 SOTA 多模態(tài)模型，且效果比肩 GPT-4V、Gemini Ultra 與 Claude Opus 。

• Github開源：https://github.com/mustafaaljadery/llama3v

• HuggingFace開源：https://huggingface.co/mustafaaljadery/llama3v（已刪庫）

• Medium發(fā)布文章：https://aksh-garg.medium.com/llama-3v-building-an-open-source-gpt-4v-competitor-in-under-500-7dd8f1f6c9ee

• Twitter官宣模型：https://twitter.com/AkshGarg03/status/1795545445516931355

由于該團(tuán)隊的作者（Mustafa Aljaddery、Aksh Garg、Siddharth Sharma）來自斯坦福，又集齊了特斯拉、SpaceX、亞馬遜與牛津大學(xué)等機(jī)構(gòu)的相關(guān)背景經(jīng)歷，很快該模型發(fā)布的推特帖子瀏覽量就已經(jīng)超過 30 萬，轉(zhuǎn)發(fā) 300+次，并迅速沖到了 Hugging Face 首頁：

但很快，沒過幾天，推特與 Hugging Face 上就開始出現(xiàn)懷疑的聲音，質(zhì)疑 Llama3V 套殼面壁智能在 5 月中旬發(fā)布的 8B 多模態(tài)小模型 MiniCPM-Llama3-V 2.5，且沒有在 Llama3V 的工作中表達(dá)任何「致敬」或「感謝」 MiniCPM-Llama3-V 2.5 的聲音。

對此，Llama3V 團(tuán)隊回復(fù)，他們「只是使用了 MiniCPM-Llama3-V 2.5 的 tokenizer」，并宣稱「在 MiniCPM-Llama3-V 2.5 發(fā)布前就開始了這項工作」。

緊接著，6 月 2 日，有網(wǎng)友在 Llama3V 的 Github 項目下拋出事實性質(zhì)疑，但很快被 Llama3V 的團(tuán)隊刪除。為此，提出質(zhì)疑的網(wǎng)友被激怒暴走，跑到了 MiniCPM-V 的 Github 頁面進(jìn)行事件還原，提醒面壁智能團(tuán)隊關(guān)注此事。

隨后，面壁團(tuán)隊通過測試 ，發(fā)現(xiàn) Llama3V 與 MiniCPM-Llama3-V 2.5 在「胎記」般案例上的表現(xiàn) 100% 雷同，「不僅正確的地方一模一樣，連錯誤的地方也一模一樣」。

至此，推特輿論開始發(fā)酵，「斯坦福抄襲中國大模型」一事不脛而走。

1、「套殼」證據(jù)實錘，斯坦福團(tuán)隊百口莫辯

最開始，用戶質(zhì)疑 Llama3V 套殼 MiniCPM-Llama3-V 2.5 開源模型時，Llama3V 作者團(tuán)隊并不承認(rèn)，而是聲稱他們只是「使用了 MiniCPM-Llama3-V 2.5 的 tokenizer」，并宣稱他們「在 MiniCPM-Llama3-V 2.5 發(fā)布前就開始了這項工作」：

不過，好心網(wǎng)友對 Llama3V 作者團(tuán)隊的回應(yīng)并不買單，而是在 Llama3V 的 Github Issue 上發(fā)布了一系列質(zhì)疑，列舉具體 4 點證據(jù)，但很快被 Llama3V 的團(tuán)隊刪除。幸好作者事先截了圖保留：

面對網(wǎng)友的質(zhì)疑，Llama3V 作者只是避重就輕地回復(fù)，稱他們只是使用了 MiniCPM 的配置來解決 Llama3V 的推理 bug，并稱「MiniCPM 的架構(gòu)是來自 Idéfics，SigLIP也來自 Idéfics，他們也只是追隨 Idéfics 的工作」而非 MiniCPM 的工作，因為「MiniCPM 的視覺部分也是來自 Idéfics 的」——

并且將原來 readme 里引用致謝 「MiniCPM-Llama3 」改為了「致謝 MiniCPM」：

但根據(jù)網(wǎng)友的復(fù)盤、梳理，Llama3V 并非只是簡單的借鑒，而是有 4 點證據(jù)能充分表明其「套殼」了 MiniCPM-Llama3-V 2.5。

證據(jù) 1：

Llama3V 項目使用了與 MiniCPM-Llama3-V 2.5 項目完全相同的模型結(jié)構(gòu)和代碼實現(xiàn)。

Llama3-V 的模型結(jié)構(gòu)和配置文件與 MiniCPM-Llama3-V 2.5 完全相同，只是變量名不同。

圖左為 MiniCPM-Llama3-V 2.5，圖右為 Llama3V

Llama3-V 的代碼是通過對 MiniCPM-Llama3-V 2.5 的代碼進(jìn)行格式調(diào)整和變量重命名得到的，包括但不限于圖像切片方式、tokenizer、重采樣器和數(shù)據(jù)加載：

證據(jù) 2：

Llama3V 團(tuán)隊稱其「引用了 LLaVA-UHD 作為架構(gòu)」，但事實是 Llama3V 與 MiniCPM-Llama3-V 2.5 結(jié)構(gòu)完全相同，但在空間模式等多方面卻與 LLaVA-UHD 有較大差異。

Llama3-V 具有與 MiniCPM-Llama3V 2.5 相同的標(biāo)記器（tokenizer），包括 MiniCPM-Llama3-V 2.5 新定義的特殊標(biāo)記：

證據(jù) 3：

Llama3V 作者曾在 Hugging Face 上直接導(dǎo)入了 MiniCPM-V 的代碼，后改名為 Llama3V。事件發(fā)酵后，AI 科技評論打開 Hugging Face 頁面發(fā)現(xiàn)已經(jīng)「404」：

https://huggingface.co/mustafaaljadery/llama3v/commit/3bee89259ecac051d5c3e58ab619e3fafef20ea6Llama3V 

作者回應(yīng)刪除 Hugging Face 倉庫的原因是「修復(fù)模型的推理問題」，并稱他們「嘗試使用 MiniCPM-Llama3 的配置，但并沒有用」：

戲劇效果拉滿的是，該網(wǎng)友隨后貼出了如何使用 MiniCPM-Llama3-V 的代碼，跑通 Llama3V 模型推理的詳細(xì)步驟。

當(dāng) Llama3V 的作者被詢問如何能在 MinicPM-Llama3-V2.5 發(fā)布之前就使用它的 tokenizer 時（因為其一開始稱他們在 MinicPM-Llama3-V2.5 發(fā)布前就已經(jīng)開始了 Llama3V 的研究），Llama3V 的作者開始撒謊，稱是從已經(jīng)發(fā)布的上一代 MinicPM-V-2 項目里拿的tokenizer：

但事實是，據(jù) AI 科技評論向面壁團(tuán)隊了解，MiniCPM-V-2 的 tokenizer 與 MinicPM-Llama3-V2.5 完全不同，在Huggingface 里是兩個文件，「既不是同一個 tokenizer 件，文件大小也完全不同」。

MinicPM-Llama3-v2.5 的 tokenizer 是 Llama3 的 tokenizer 加上 MiniCPM-V 系列模型的一些特殊 token 組成，MiniCPM-v2 因為在 Llama3 開源之前就發(fā)布，所以不會有 Llama3 的 tokenizer ：

證據(jù) 4：

Llama3V 的作者刪除了 GitHub 上的相關(guān) issue，并似乎不完全理解 MinicPM-Llama3-V2.5 的架構(gòu)或 Llama3V 自己的代碼。

Perceiver重采樣器是一個單層的交叉注意力機(jī)制，而不是兩層自注意力機(jī)制。SigLIP 的 Sigmoid 激活函數(shù)并未用于訓(xùn)練多模態(tài)大型語言模型，而僅用于 SigLIP 的預(yù)訓(xùn)練。

但 Llama3V 在論文中的介紹卻說其采用了兩層自注意力機(jī)制：

而 MiniCPM-Llama3-V 2.5 和 Llama3V 代碼如下，體現(xiàn)的卻是單層交叉注意力機(jī)制：

Llama3-V：

MiniCPM-Llama3-V 2.5：

且視覺特征提取不需要激活 sigmoid：

2、推特輿論發(fā)酵，面壁回應(yīng)

6 月 2 日下午，該事件開始在推特上發(fā)酵，MiniCPM-V 的作者親自發(fā)帖，表示「震驚」，因為斯坦福的 Llama3V 模型居然也能識別「清華簡」。

據(jù) AI 科技評論向面壁團(tuán)隊了解，「清華簡」是清華大學(xué)于 2008 年 7 月收藏的一批戰(zhàn)國竹簡的簡稱；識別清華簡是 MiniCPM-V 的「胎記」特征。該訓(xùn)練數(shù)據(jù)的采集和標(biāo)注均由面壁智能和清華大學(xué)自然語言處理實驗室團(tuán)隊內(nèi)部完成，相關(guān)數(shù)據(jù)尚未對外公開。

斯坦福的 Llama3V 模型表現(xiàn)與 MiniCPM-Llama3-V 2.5 檢查點的加噪版本高度相似：

以下是面壁團(tuán)隊成果與 Llama3V 對「清華簡」的識別對比。結(jié)果顯示，兩個模型不僅正確的地方一模一樣、錯誤的地方也雷同：

Q：請識別圖像中的竹簡字？

MiniCPM-Llama3-V 2.5：民

Llama3-V：民

GT：民

錯誤識別示例：

Q：請識別圖像中的竹簡字？

MiniCPM-Llama3-V 2.5：君子 

Llama3-V：君子

GT：甬

以下是在 1000 個清華簡字體上的識別效果：

可以看到，Llama3V 與 MiniCPM-Llama3-V 2.5 的重疊高達(dá) 87%，且兩個模型的錯誤分布律高度相似：Llama3V 的錯誤率為 236，MiniCPM-Llama3-V 2.5 的錯誤率是 194，兩個模型在 182 個錯誤識別上相同。

同時，兩個模型在清華簡上的高斯噪聲也同樣高度相似：

此外，Llama3V 的 OCR 識別能力在中文字上也與 MiniCPM-Llama3-V 2.5 高度相似。對此，面壁團(tuán)隊表示，他們很好奇斯坦福團(tuán)隊是如何只用「500 美元就能訓(xùn)練出這么高深的模型性能」。

根據(jù)公開信息顯示，Llama3V 的兩位作者 Siddharth Sharma 與 Aksh Garg 是斯坦福大學(xué)計算機(jī)系的本科生，曾發(fā)表過多篇機(jī)器學(xué)習(xí)領(lǐng)域的論文。

其中，Siddharth Sharma 曾在牛津大學(xué)訪問、在亞馬遜實習(xí)；Aksh Garg 也曾在 SpaceX 實習(xí)。

這件事反映出，AI 研究的投機(jī)分子不分國度。

同時，也反映出，中國科研團(tuán)隊的開源大模型實力已經(jīng)沖出國門，逐漸被越來越多國際知名的機(jī)構(gòu)與開發(fā)者所關(guān)注、學(xué)習(xí)。

中國大模型不僅在追趕世界頂尖機(jī)構(gòu)，也正在成為被世界頂尖機(jī)構(gòu)學(xué)習(xí)的對象。

由此可見，今后看客們審視國內(nèi)外的大模型技術(shù)實力對比，應(yīng)該多一份民族自信、少一點崇洋媚外，將關(guān)注度多聚焦在國內(nèi)的原創(chuàng)技術(shù)上。雷峰網(wǎng)

最后，一句話總結(jié)：投機(jī)不可取，永爭創(chuàng)新一。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。