騰訊元寶治好了我的信息焦慮癥。

本文作者：馬蕊蕾

2024-08-15 11:14

導(dǎo)語(yǔ)：導(dǎo)語(yǔ)：5大模型橫評(píng)，只有它500字說(shuō)清10萬(wàn)字論文的事。

作者：馬蕊蕾林杰鑫

編輯：林杰鑫

最近翻相冊(cè)的時(shí)候翻到3月份的一張圖片，恍惚間發(fā)現(xiàn)從事AI之后自己的閱讀量一直在暴漲。

騰訊元寶治好了我的信息焦慮癥。

大模型重構(gòu)了很多行業(yè)工作流中的思考角色，也導(dǎo)致在這個(gè)行業(yè)的人一直都有信息攝取焦慮癥。因?yàn)楦餍懈鳂I(yè)搞研究的人腦洞大開(kāi)。比如斯坦福大學(xué)用AI扮演不同的人搞了個(gè)AI社會(huì)啟發(fā)清華大學(xué)用AI開(kāi)游戲設(shè)計(jì)公司，后來(lái)就有AI模擬人類(lèi)社會(huì)發(fā)展6000年，發(fā)現(xiàn)AI人類(lèi)為了活下去會(huì)變得自私。這些都還好，看著挺趣味的也好理解，過(guò)家家嘛。

騰訊元寶治好了我的信息焦慮癥。

最頭疼的就是那些個(gè)鬼：AI成功編輯人類(lèi)基因，AI學(xué)會(huì)預(yù)測(cè)等離子體撕裂推進(jìn)可控核聚變，AI設(shè)計(jì)了一套無(wú)需人類(lèi)示范的歐幾里得平面幾何定理證明系統(tǒng)。（別看了，頭痛，偏偏這些讓我上課瞌睡的卻成了我的工作內(nèi)容。）

很長(zhǎng)一段時(shí)間我都在測(cè)試各家的大模型讀論文的能力，自己摸索了一套prompt：

總結(jié)論文內(nèi)容，研究背景是什么，采用了什么方法論證，取得了什么積極性的突破，對(duì)比同類(lèi)型研究有什么優(yōu)勢(shì)？將對(duì)普通人的生活產(chǎn)生什么影響？如果技術(shù)方法復(fù)雜，請(qǐng)用類(lèi)比或比喻的手法輔助我理解。

這段話(huà)可以快速定位研究的目的和用途，同時(shí)了解這些研究會(huì)對(duì)咱這些平頭老百姓會(huì)有什么影響。問(wèn)題在于，大部分論文動(dòng)不動(dòng)幾萬(wàn)字到十幾萬(wàn)字的，有很多各行業(yè)的專(zhuān)業(yè)術(shù)語(yǔ)，AI能讀，但給出來(lái)的結(jié)果往往是一個(gè)很空的大框架。更別說(shuō)用比喻的手法解讀一些內(nèi)容了，因?yàn)锳I的理解不夠深入，也就不能做到用通俗易懂的話(huà)輔助理解.....

騰訊元寶治好了我的信息焦慮癥。

半年前我發(fā)現(xiàn)最好用的還是kimi，所以2個(gè)月時(shí)間我用他讀了1183萬(wàn)字的論文，整個(gè)人的靈魂都升華了。當(dāng)然，人嘛總是喜新厭舊，過(guò)了半年時(shí)間了，這會(huì)兒我也想看看其他家AI做的咋樣，來(lái)一場(chǎng)橫評(píng)。于是我打開(kāi)我跟kimi的聊天記錄打算看看以往遇到什么問(wèn)題，然后就戴上了痛苦面具......

騰訊元寶治好了我的信息焦慮癥。

是的，看著過(guò)去的聊天記錄我想起來(lái)kimi只會(huì)用OCR識(shí)別字但不會(huì)讀圖，所以很多論文的統(tǒng)計(jì)圖kimi都無(wú)法識(shí)別，導(dǎo)致有些論文有大量曲線(xiàn)圖、數(shù)據(jù)圖的時(shí)候。kimi直接燈下黑睜眼瞎，像上面的圖屬于AI模擬人類(lèi)社會(huì)發(fā)展1000代之后，人類(lèi)性格轉(zhuǎn)變曲線(xiàn)，如果論文沒(méi)具體闡述，我是完全不知道如何變化的...也就無(wú)法獲取關(guān)鍵信息。

騰訊元寶治好了我的信息焦慮癥。

所以這次評(píng)測(cè)我打算找一個(gè)長(zhǎng)文理解能力不輸kimi，然后又有圖文理解能力的，但最好還是國(guó)內(nèi)的，方便我隨時(shí)使用。

初階圖片理解測(cè)試

首先是來(lái)一輪簡(jiǎn)單的圖片理解測(cè)試。

騰訊元寶治好了我的信息焦慮癥。

在這里做個(gè)免責(zé)聲明：大家都知道我這個(gè)人呢測(cè)試AI喜歡刁鉆。沒(méi)辦法，經(jīng)常有些AI大廠(chǎng)就喜歡拿大家用過(guò)的經(jīng)典測(cè)試題鉆漏洞，比如識(shí)別狗跟炸雞這題以前很火，有一天AI突然集體開(kāi)竅了，然后有網(wǎng)友換了下圖片順序，AI又識(shí)別不出來(lái)了。（嗯，大伙兒自己琢磨）

騰訊元寶治好了我的信息焦慮癥。

所以下面這輪測(cè)試我本來(lái)打算用廣東2016年的高考語(yǔ)文題目來(lái)挑戰(zhàn)一下AI圖片閱讀理解，但我怕這東西被AI偷偷摸摸練過(guò)，所以兄弟靈機(jī)一動(dòng)，給圖片打了一堆噪點(diǎn)。

這一輪就不欺負(fù)kimi了。來(lái)一輪已經(jīng)確定有識(shí)別圖片能力的大模型來(lái)一場(chǎng)皇城pk。阿里的通義千問(wèn)、百度文心一言、字節(jié)豆包、騰訊元寶。

騰訊元寶治好了我的信息焦慮癥。

注意我這里用的是原圖測(cè)試，我發(fā)現(xiàn)通義可以準(zhǔn)確識(shí)別數(shù)字，但是無(wú)法深入解讀表情、或者臉上的巴掌、吻，為了確認(rèn)實(shí)驗(yàn)的嚴(yán)謹(jǐn)，我又上傳了一張停車(chē)場(chǎng)的圖片，發(fā)現(xiàn)它是能準(zhǔn)確識(shí)別福特汽車(chē)的logo，所以也就不存在不能讀圖這一情況，而是他沒(méi)訓(xùn)練過(guò)。

騰訊元寶治好了我的信息焦慮癥。

這是豆包的表現(xiàn)，連數(shù)字都讀錯(cuò)了，那咱也就不繼續(xù)了.....

騰訊元寶治好了我的信息焦慮癥。

文心一言......雖然讀出了分?jǐn)?shù)，但是后面我問(wèn)他看到巴掌和吻了嗎.....這家伙回我一句“嘻嘻”，我&*%$#?!

騰訊元寶治好了我的信息焦慮癥。

說(shuō)實(shí)話(huà)到元寶我已經(jīng)放棄了，因?yàn)樵谖矣∠笾?，文心一言、通義千問(wèn)、豆包都比元寶早出至少半年，而且元寶在我這確實(shí)沒(méi)啥存在感。結(jié)果，兄弟咋回事？這就讀出來(lái)了，而且還是加了噪點(diǎn)的圖片？？？騰訊不聲不響憋了個(gè)大的，然后當(dāng)我問(wèn)到這些表情特征的時(shí)候他還做了可能發(fā)生的情況的解讀。

所以第一場(chǎng)pk，元寶取得領(lǐng)先優(yōu)勢(shì)。

那么既然各家確定有讀圖能力，接下來(lái)就加大難度，上有圖文的長(zhǎng)論文。

長(zhǎng)文精讀能力測(cè)試

論文名：《An evolutionary model of personality traits related to cooperative behavior using a large language model》

這篇論文內(nèi)容，主要講了用大模型生成不同性格的AI，模擬人類(lèi)社會(huì)發(fā)展1000代，最后AI居然集體變?yōu)樽运饺烁?，自然雜志上的新研究揭露，AI在不受約束的情況下，可能整體都會(huì)趨向于自私。

騰訊元寶治好了我的信息焦慮癥。

主要是論文中有一大坨的各種曲線(xiàn)圖，要想更好的理解AI人類(lèi)為了生存做出的性格改變就必須結(jié)合曲線(xiàn)圖理解。

所以這里想看一下，各家大模型對(duì)于長(zhǎng)文以及圖片的總結(jié)能力。鑒于kimi有優(yōu)秀的長(zhǎng)文理解能力，所以這里還是拉上他來(lái)作為一個(gè)衡量各家質(zhì)量的標(biāo)桿。但這把不再是中國(guó)大模型內(nèi)戰(zhàn)，而是拉上目前國(guó)外目前T0級(jí)別的claude，直接上強(qiáng)度。

Kimi

提示詞：總結(jié)論文內(nèi)容，闡述研究背景，研究方法以及成果，實(shí)驗(yàn)者提供什么數(shù)據(jù)支撐他的實(shí)驗(yàn)。

騰訊元寶治好了我的信息焦慮癥。

我先是讓kimi總結(jié)論文內(nèi)容大致了解詳情，得知這是一篇關(guān)于AI模擬人類(lèi)社會(huì)發(fā)展和人類(lèi)性格變化的論文。

騰訊元寶治好了我的信息焦慮癥。

于是我追問(wèn)人類(lèi)迭代的趨勢(shì)是什么，kimi也給出了解答，但這個(gè)解答說(shuō)實(shí)話(huà)沒(méi)有將全文連貫起來(lái)讀。

騰訊元寶治好了我的信息焦慮癥。

在后續(xù)的追問(wèn)中也沒(méi)體現(xiàn)出這張圖表的波動(dòng)。而是大致概括為先自私然后偏向合作然后又可能變自私，但這個(gè)可能就很致命，因?yàn)樵诘?00代的時(shí)候，所有AI是大幅度變自私。也就是kimi獲取的信息不準(zhǔn)確。

騰訊元寶

騰訊元寶治好了我的信息焦慮癥。

元寶我照例先問(wèn)主要內(nèi)容，我覺(jué)得訓(xùn)元寶的估計(jì)沒(méi)少研究用戶(hù)閱讀習(xí)慣或者干脆就是一群有高效閱讀強(qiáng)迫癥的人練出來(lái)的。因?yàn)樗傻母袷街鞔畏置?，從研究背景、研究方法、?shí)驗(yàn)設(shè)計(jì)、結(jié)果分析、總體結(jié)論。感覺(jué)就像是讀書(shū)時(shí)拿了學(xué)霸同學(xué)的筆記。而且用什么模型進(jìn)行實(shí)驗(yàn)、關(guān)鍵數(shù)據(jù)包括哪些，都有呈現(xiàn)。這是同樣提示詞下，kimi所不具備的。

騰訊元寶治好了我的信息焦慮癥。

但相比于kimi，最大的差異點(diǎn)我認(rèn)為還是在迭代趨勢(shì)這里。元寶是能講出曲線(xiàn)發(fā)展的波動(dòng)。在進(jìn)化過(guò)程中，初始階段，持續(xù)到大約第300代后，合作比例迅速上升，到第350代左右占比達(dá)到0.55，然后在第450代左右下降到約0.40。接著，合作比例反復(fù)增加和減少，到第850代左右達(dá)到最高值約0.75，之后迅速下降到0.15左右。

根據(jù)數(shù)據(jù)波動(dòng)又總結(jié)出出在進(jìn)化過(guò)程中，AI人類(lèi)的性格基因在二維空間中的分布顯示出多次轉(zhuǎn)變，反映了合作和自私性格特征的交替出現(xiàn)。也就是AI人類(lèi)的進(jìn)化一直在自私和合作之間反復(fù)橫跳，并且給出了具體的時(shí)間周期。（歷史果然是個(gè)車(chē)輪啊~）

騰訊元寶治好了我的信息焦慮癥。

而且，我還發(fā)現(xiàn)它左下角居然多了一個(gè)按鈕——深度閱讀該文檔，一點(diǎn)進(jìn)去，元寶老爺今天我給您磕一個(gè)，此后承蒙不棄，多多帶我。

騰訊元寶治好了我的信息焦慮癥。

因?yàn)樗苯訉D表和內(nèi)容結(jié)合講述，把論文變成課件，以往我打開(kāi)論文看到圖表人麻了，因?yàn)槲疫€得看小字去了解這是描述啥的圖表。現(xiàn)在用元寶打開(kāi)圖表，我人炸了，因?yàn)槲抑苯泳臀蛄恕?/p>

而且我懷疑騰訊是不是去哪里請(qǐng)來(lái)了金牌備課講師，整個(gè)ui界面的視覺(jué)設(shè)計(jì)很符合閱讀習(xí)慣，左邊有論文的大綱，正文部分配合著圖來(lái)看論文，如果不懂，還可以實(shí)時(shí)對(duì)內(nèi)容進(jìn)行提問(wèn)，真的很懂我。

騰訊元寶治好了我的信息焦慮癥。

拉到底人家還擺了一個(gè)關(guān)鍵問(wèn)題及回答，這玩意看得我虎軀一震。兄弟們，參加過(guò)答辯的應(yīng)該都知道這功能的含金量吧？這是元寶教授在跟你模擬畢業(yè)答辯呢，考試前老師在給你劃重點(diǎn)呢，還可以刷新不同的問(wèn)題。

騰訊元寶治好了我的信息焦慮癥。

人家甚至?xí)?duì)論文進(jìn)行評(píng)價(jià)，換句話(huà)說(shuō)自己寫(xiě)的論文上傳給元寶，元寶教你改論文，完事了還跟你模擬答辯，寶子哥，不僅看論文厲害，我發(fā)現(xiàn)估計(jì)寫(xiě)論文和模擬答辯還有奇效。

通義千問(wèn)

騰訊元寶治好了我的信息焦慮癥。

整體思路看起來(lái)不錯(cuò)，開(kāi)頭簡(jiǎn)潔明晰的介紹了論文的研究重點(diǎn)，正文從研究的特點(diǎn)和成果進(jìn)行展示，但是深究具體內(nèi)容，會(huì)發(fā)現(xiàn)不是很全面，有些模糊，讀完一席話(huà)，勝似一席話(huà)。

Claude-3.5

騰訊元寶治好了我的信息焦慮癥。

一眼看過(guò)去，Claude的回復(fù)真的很簡(jiǎn)潔，主要概括了論文的一些要點(diǎn)，沒(méi)有特別成體系，但不得不說(shuō)可能因?yàn)樽謹(jǐn)?shù)少，我竟然看進(jìn)去了。但過(guò)于簡(jiǎn)潔，看完之后，我就沒(méi)有然后了，對(duì)于我這個(gè)剛?cè)腴T(mén)學(xué)習(xí)的人來(lái)說(shuō)，不太友好。

騰訊元寶治好了我的信息焦慮癥。

當(dāng)然，通義千問(wèn)和Claude-3.5在內(nèi)容上也做到了元寶講的總結(jié)出具體的數(shù)值，不同的是，Claude-3.5能清晰知道具體結(jié)論對(duì)應(yīng)哪幅圖，這一點(diǎn)上通義千問(wèn)沒(méi)有。但Clude3.5沒(méi)有像元寶那樣把圖放在那講，還得去翻圖片來(lái)回滑動(dòng)，看起來(lái)很麻煩。

從kimi、通義千問(wèn)、騰訊元寶和Claude3.5的測(cè)試中，我意外還發(fā)現(xiàn)kimi和騰訊元寶的交互設(shè)計(jì)做的很絲滑。當(dāng)提出問(wèn)題得到相應(yīng)的反饋后，這兩家有一點(diǎn)非常Nice，點(diǎn)擊生成答案的右下角的分享標(biāo)識(shí)，他們都可以快速生成內(nèi)容的長(zhǎng)圖或者鏈接。

其實(shí)通義千問(wèn)，點(diǎn)擊分享也會(huì)有相應(yīng)交互，但是目前只能復(fù)制答案的鏈接，沒(méi)有生成圖片的功能，通義啊，這里可以改進(jìn)一下下。

除了論文總結(jié)能力，讀研報(bào)不知道各家表現(xiàn)怎么樣，我們?cè)僭囈辉嚕纯葱Ч?/p>

分析研報(bào)

接著扔一個(gè)《2024巴黎奧運(yùn)會(huì)熱度趨勢(shì)洞察》PDF，并加上幫我分析一下這份研報(bào)，概括出最重要的信息，字?jǐn)?shù)不要超過(guò)500字。

通義千問(wèn)

很簡(jiǎn)單的總結(jié)了一段話(huà)，細(xì)看內(nèi)容只總結(jié)了平臺(tái)和品牌合作，概括不太全面。

騰訊元寶治好了我的信息焦慮癥。

騰訊元寶

騰訊元寶治好了我的信息焦慮癥。

這里元寶我又i了，總結(jié)了研報(bào)的核心觀點(diǎn)，還從奧運(yùn)會(huì)熱度掃描、話(huà)題洞察、品牌洞察分別概括了具體內(nèi)容，很清晰。

騰訊元寶治好了我的信息焦慮癥。

如果作為一名短視頻運(yùn)營(yíng)或者商家，你就會(huì)發(fā)現(xiàn)元寶的信息有多珍貴。首先他會(huì)跟你說(shuō)主要熱點(diǎn)有哪些。緊接著又指出兩個(gè)熱度最高的社交平臺(tái)微博和抖音，其中微博是內(nèi)容量占了全網(wǎng)68.3%，抖音互動(dòng)奧運(yùn)話(huà)題互動(dòng)量占全網(wǎng)69.4%。

但元寶又指出，品牌方主要在小紅書(shū)進(jìn)行商業(yè)投放，原因是小紅書(shū)熱門(mén)話(huà)題更注重體育項(xiàng)目和運(yùn)動(dòng)員，抖音則以愛(ài)國(guó)話(huà)題為主。同時(shí)從消費(fèi)者趨勢(shì)來(lái)看，小紅書(shū)女性用戶(hù)多，抖音男性用戶(hù)多，25~34歲是主要人群。這下消費(fèi)者畫(huà)像不就一下子清晰了？每個(gè)研報(bào)如果都能這么總結(jié)，我一天能看100份。

騰訊元寶治好了我的信息焦慮癥。

重點(diǎn)是它的深度閱讀依舊可以總結(jié)重點(diǎn)信息還帶配圖的那種，每次精讀的尾聲部分，還能再來(lái)一波關(guān)鍵問(wèn)題的解答。

Claude-3.5

騰訊元寶治好了我的信息焦慮癥。

中規(guī)中矩，很簡(jiǎn)潔的概括了一些想要看到的信息。整體體驗(yàn)下來(lái)，元寶確實(shí)在長(zhǎng)文精讀方面的能力更強(qiáng)，在內(nèi)容和文本格式方面都很在線(xiàn)，我感覺(jué)它很懂用戶(hù)的閱讀使用習(xí)慣，深度閱讀模式的大綱、圖文搭配、實(shí)時(shí)對(duì)文章進(jìn)行提問(wèn)的能力，用起來(lái)一整個(gè)都很舒適！

番外測(cè)試篇

當(dāng)然最近網(wǎng)上也很流行測(cè)AI理解梗圖的能力和數(shù)學(xué)邏輯推理，所以這里也測(cè)點(diǎn)網(wǎng)上大家都喜歡測(cè)的，看看各家的表現(xiàn)。

騰訊元寶治好了我的信息焦慮癥。