近日，國(guó)際機(jī)器學(xué)習(xí)大會(huì)披露了2024國(guó)際機(jī)器學(xué)習(xí)大會(huì)（ICML2024）收錄的論文。本屆會(huì)議共有9473篇有效論文投稿，創(chuàng)歷史新高，組委會(huì)最終錄用了2609篇，接收率為27.5%。

國(guó)際機(jī)器學(xué)習(xí)大會(huì)是全球機(jī)器學(xué)習(xí)領(lǐng)域的權(quán)威會(huì)議，迄今舉辦了41次會(huì)議。組委會(huì)成員來(lái)自卡內(nèi)基梅倫大學(xué)、劍橋大學(xué)、谷歌、蘋(píng)果等世界名校及全球知名科技企業(yè)。今年的國(guó)際機(jī)器學(xué)習(xí)大會(huì)將于7月21日～27日在奧地利維也納舉辦。

據(jù)了解，螞蟻集團(tuán)此次有11篇論文入選，覆蓋圖機(jī)器學(xué)習(xí)、網(wǎng)絡(luò)/信息安全、人工智能、計(jì)算機(jī)視覺(jué)等多個(gè)人工智能和機(jī)器學(xué)習(xí)領(lǐng)域的前沿主題。論文試圖改進(jìn)和優(yōu)化的技術(shù)問(wèn)題，則聚焦在提高AI的經(jīng)濟(jì)性和可靠性上。

提高AI的經(jīng)濟(jì)性，主要看是否能把大模型做“小”，是否能持續(xù)工程提效，以及是否能持續(xù)度量和優(yōu)化綠色指標(biāo)，這決定大模型應(yīng)用能否能成為主流。

《基于關(guān)鍵點(diǎn)的漸進(jìn)式思維鏈蒸餾方法在大語(yǔ)言模型（LLMs）中的應(yīng)用》正是一個(gè)把大模型做“小”的研究。該文提出了一種名為KPOD的新蒸餾方法，這是一種機(jī)器學(xué)習(xí)技術(shù)，能將大而復(fù)雜的模型（教師模型）所學(xué)到的知識(shí)遷移到一個(gè)小而簡(jiǎn)單的模型（學(xué)生模型）中，以大大減少模型的規(guī)模和計(jì)算成本，同時(shí)盡可能保留原始模型的性能。研究團(tuán)隊(duì)以GPT-3.5-Turbo作為教師模型，以LLaMA-7B和Flan-T5系列模型作為學(xué)生模型進(jìn)行思維鏈蒸餾，結(jié)果表明，相較現(xiàn)有模型蒸餾技術(shù)，KPOD能將推理準(zhǔn)確率提升5%。

《關(guān)注邊界：基于重構(gòu)決策邊界的核心集選取》提出了一種新的核心集構(gòu)建方法，首次在ImageNet-1K數(shù)據(jù)集上實(shí)現(xiàn)了使用50%的數(shù)據(jù)訓(xùn)練，但是精度損失不超過(guò)1%。

還有幾篇論文就如何提高AI在計(jì)算、訓(xùn)練、推理等過(guò)程中的效率，提出了新的技術(shù)解決方案。

《Ditto: 量化感知的Transformer模型安全推理》一文針對(duì)大模型密態(tài)推理場(chǎng)景展開(kāi)了研究，以更高的效率實(shí)現(xiàn)密態(tài)數(shù)據(jù)類(lèi)型的切換，進(jìn)而帶來(lái)更優(yōu)的密態(tài)推理性能。實(shí)驗(yàn)結(jié)果表明，Ditto可以在不顯著降低模型可用性的情況下實(shí)現(xiàn)推理效率的提升，性能相較最新工作提升約2～4倍。

《多源噪聲標(biāo)簽下的自感知去噪方法》一文，從理論上分析了神經(jīng)網(wǎng)絡(luò)在面對(duì)多源噪聲標(biāo)記時(shí)具備的對(duì)樣本級(jí)噪聲和源級(jí)標(biāo)注質(zhì)量的感知能力，進(jìn)一步提出了一種名為自感知去噪的多源噪聲標(biāo)簽學(xué)習(xí)方法，利用神經(jīng)網(wǎng)絡(luò)的自我認(rèn)知能力在訓(xùn)練期間進(jìn)行去噪；并構(gòu)建了一個(gè)選擇性蒸餾模塊以?xún)?yōu)化計(jì)算效率。

《通過(guò)隨機(jī)微分方程統(tǒng)一貝葉斯流網(wǎng)絡(luò)與擴(kuò)散模型》一文提出了一種新采樣方法 BFN-Solver，相比原始BFN采樣器實(shí)現(xiàn)了5-20倍的速度提升。

提高AI的可信性，則是要讓AI更準(zhǔn)確專(zhuān)業(yè)、真實(shí)嚴(yán)謹(jǐn)、可控透明及安全可靠，終極目標(biāo)是解決控制和“對(duì)齊”比人類(lèi)聰明的模型。這對(duì)于AI在金融、醫(yī)療等嚴(yán)謹(jǐn)行業(yè)的落地應(yīng)用尤為必要與重要。

《基于強(qiáng)化學(xué)習(xí)的檢索增強(qiáng)大語(yǔ)言模型可信對(duì)齊》一文針對(duì)檢索增強(qiáng)的大語(yǔ)言模型仍然會(huì)遭受幻覺(jué)困擾的問(wèn)題，提出一種基于強(qiáng)化學(xué)習(xí)的算法“可信對(duì)齊”， 從理論上和實(shí)驗(yàn)上證明了大型語(yǔ)言模型可以通過(guò)這種方法對(duì)齊到可信狀態(tài)，并將對(duì)齊的應(yīng)用場(chǎng)景從滿(mǎn)足人類(lèi)偏好擴(kuò)展到創(chuàng)建可信的Agent等場(chǎng)合。結(jié)果表明，基于“可信對(duì)齊”的檢索增強(qiáng)大語(yǔ)言模型，無(wú)需人工標(biāo)注，即可在natural question問(wèn)答任務(wù)上帶來(lái)平均55%的EM提升和53%的記憶率降低。

公開(kāi)信息顯示，此次被會(huì)議收錄論文的還有清華大學(xué)、復(fù)旦大學(xué)、上海交通大學(xué)、中國(guó)人民大學(xué)、騰訊、聯(lián)想等國(guó)內(nèi)知名高校及企業(yè)。

 雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。