當(dāng)?shù)貢r(shí)間 12 月 10 日- 15 日，全球 AI 頂級(jí)會(huì)議 NeurIPS （神經(jīng)信息處理系統(tǒng)大會(huì)）在加拿大溫哥華舉辦，這一頂會(huì)涵蓋了機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)等多個(gè)研究方向。

官方數(shù)據(jù)顯示， NeurIPS 2024 共收到 15671 篇有效論文投稿。投稿量創(chuàng)下新高，論文錄取率為 25.8%，相比去年略有下降，來(lái)自中國(guó)的被收錄的論文則很可觀。公開(kāi)數(shù)據(jù)顯示，中國(guó)人民大學(xué)、字節(jié)跳動(dòng)、螞蟻集團(tuán)、騰訊等中國(guó)高校和互聯(lián)網(wǎng)企業(yè)均分別有數(shù)十篇論文被NeurIPS 2024收錄。

螞蟻集團(tuán)被 NeurIPS 2024 收錄了20篇論文，其中有一篇為Spotlight（特別關(guān)注）。按往年數(shù)據(jù)估算，NeurIPS 的 Spotlight 論文錄取率約為 3%。

被 Spotlight 的論文《MKGL：掌握一門(mén)三元組構(gòu)成的語(yǔ)言》，引入一個(gè)叫 KGL的新知識(shí)圖譜語(yǔ)言，以探究大語(yǔ)言模型（LLM）和知識(shí)圖譜（KG）的融合。KGL 這一新語(yǔ)言能夠讓一個(gè)句子精確地由一個(gè)實(shí)體名詞開(kāi)始、一個(gè)關(guān)系動(dòng)詞連接，再以另一個(gè)實(shí)體名詞結(jié)尾。實(shí)驗(yàn)結(jié)果顯示，LLM 通過(guò)利用實(shí)時(shí)知識(shí)圖譜上下文檢索和文本嵌入增強(qiáng)，高效提升其對(duì) KGL 詞匯的理解，已經(jīng)做到能夠熟練掌握 KGL，在知識(shí)圖譜補(bǔ)全等任務(wù)上相較于傳統(tǒng)方法有顯著提升。

根據(jù)論文摘要顯示，螞蟻集團(tuán)20 篇論文的研究領(lǐng)域主要集中在提升 AI的經(jīng)濟(jì)性、可信性和效率上，這也是該企業(yè)重投 AI 的重點(diǎn)攻堅(jiān)方向。

比如論文《重新審視顯存和通信成本對(duì)大語(yǔ)言模型高效數(shù)據(jù)并行訓(xùn)練的影響》針對(duì)大語(yǔ)言模型（LLM）分布式訓(xùn)練的速度與效率問(wèn)題，提出了一組新的基礎(chǔ)策略，一個(gè)名為 PaRO 的部分冗余優(yōu)化器，通過(guò)更精細(xì)的分片策略以適配不同的訓(xùn)練場(chǎng)景，加速 LLM 的訓(xùn)練。實(shí)驗(yàn)結(jié)果表明，PaRO 在 LLM 的一些訓(xùn)練場(chǎng)景下速度比 ZeRO-3 最快提高到 266 %。此外，PaRO-CC 也可以單獨(dú)使用在模型并行策略中，且獲得了17%的訓(xùn)練速度提升。

在 NeurIPS 2024 上，螞蟻集團(tuán)還受邀舉辦一場(chǎng)研討會(huì)，圍繞“強(qiáng)化學(xué)習(xí)優(yōu)化、可信模型構(gòu)建及視覺(jué)語(yǔ)言模型應(yīng)用探索”等議題，深入研討知識(shí)增強(qiáng)的大語(yǔ)言模型在行業(yè)垂直領(lǐng)域的前沿技術(shù)與發(fā)展趨勢(shì)。來(lái)自清華大學(xué)、香港浸會(huì)大學(xué)、墨爾本大學(xué)、螞蟻技術(shù)研究院的學(xué)者和研究員將在研討會(huì)上進(jìn)行主題報(bào)告分享。

據(jù)了解，加速 AI 在行業(yè)垂直領(lǐng)域的落地應(yīng)用，亦是螞蟻集團(tuán)重投 AI 的重點(diǎn)攻堅(jiān)方向，或者說(shuō)，聚焦提升AI的經(jīng)濟(jì)性、可信性和效率，就是為了加速AI在行業(yè)垂直領(lǐng)域，尤其在金融、醫(yī)療、遙感等嚴(yán)謹(jǐn)產(chǎn)業(yè)中的落地應(yīng)用。

2024?Inclusion外灘大會(huì)發(fā)布的《AI產(chǎn)業(yè)實(shí)踐六大趨勢(shì)》指出，大模型在醫(yī)療、金融等專業(yè)領(lǐng)域應(yīng)用涌現(xiàn)，能促進(jìn)垂直行業(yè)生產(chǎn)力提升、數(shù)據(jù)價(jià)值釋放，同時(shí)也成為大模型技術(shù)加速發(fā)展的“探照燈”。

值得注意的是，在 NeurIPS 這一級(jí)別的國(guó)際頂級(jí)學(xué)術(shù)會(huì)議上，來(lái)自國(guó)內(nèi)高校、科技企業(yè)、互聯(lián)網(wǎng)公司的論文不但在數(shù)量上持續(xù)突破，在質(zhì)量上也有飛躍式進(jìn)展，被收錄為Spotlight、Oral、Highlight、Best Paper提名的論文越來(lái)越多。期待中國(guó)的產(chǎn)學(xué)界繼續(xù)發(fā)力與合力，勇登這波 AI 浪潮之巔。

 

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。