近日，中國工業(yè)互聯(lián)網(wǎng)研究院（以下簡稱“工聯(lián)院”）針對(duì)人工智能大模型在中文工業(yè)領(lǐng)域的知識(shí)問答能力進(jìn)行系統(tǒng)性評(píng)測。結(jié)果顯示，360集團(tuán)(601360.SH，下稱“360”)自研大模型“360智腦”在多項(xiàng)指標(biāo)超過GPT3.5，綜合表現(xiàn)位于國產(chǎn)大模型前列。

工聯(lián)院此次評(píng)測選取了工業(yè)領(lǐng)域典型的八大行業(yè)，集合五大院士，八大IEEE Fellow共13位頂級(jí)專家構(gòu)成了專家委員會(huì)。每個(gè)行業(yè)抽取客觀題和主觀題，主觀題主要考察基礎(chǔ)能力、語句能力、概括能力和邏輯能力四大維度，最終八大行業(yè)共計(jì)超過1100道題，對(duì)大模型就行全方位評(píng)測。評(píng)測對(duì)象涵蓋GPT4、GPT3.5、360智腦、文心一言等國內(nèi)外具有代表性的頭部大模型。

從評(píng)測結(jié)果可以看出，GPT4表現(xiàn)最佳，國內(nèi)大模型表現(xiàn)亮眼，360智腦在多個(gè)行業(yè)均處于前列，其中裝備制造業(yè)和紡織行業(yè)更是超過GPT-3.5，表現(xiàn)優(yōu)異。

雖然國內(nèi)大模型在本次評(píng)測表現(xiàn)較好，以360智腦為代表的國產(chǎn)大模型甚至在部分行業(yè)趕超GPT3.5，但工聯(lián)院評(píng)測報(bào)告也指出，國內(nèi)外通用大模型在工業(yè)知識(shí)問答領(lǐng)域探索仍處于初級(jí)階段，也缺乏行業(yè)針對(duì)性訓(xùn)練。

其實(shí)，360近期已經(jīng)推出一個(gè)企業(yè)級(jí)的AI大模型解決方案，基于360智腦的能力，綜合行業(yè)和企業(yè)的專業(yè)知識(shí)庫，打造“行業(yè)化、企業(yè)化、垂直化、小型化、專有化”企業(yè)級(jí)大模型，目前已在智慧城市、智慧企服場景下落地應(yīng)用實(shí)踐，且雙雙入選“北京市通用人工智能大模型行業(yè)應(yīng)用十大典型場景案例”。

這不是360智腦第一次在第三方評(píng)測中表現(xiàn)出優(yōu)異成績，早在不久前中文通用大模型基準(zhǔn)（SuperCLUE）評(píng)測中，360智腦數(shù)次上榜，且多項(xiàng)能力蟬聯(lián)國產(chǎn)大模型第一。

雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。