作者：賴文昕

編輯：郭思、陳彩嫻

說起擴(kuò)散模型生成的東西，你會立刻想到什么？

是OpenAI的經(jīng)典牛油果椅子？

是英偉達(dá)Magic3D生成的藍(lán)色箭毒蛙？

還是斯坦福大學(xué)和微軟Folding Diffusion生成的蛋白質(zhì)結(jié)構(gòu)？

這些都是擴(kuò)散模型的魔法展示，而近期，關(guān)于擴(kuò)散模型的研究又進(jìn)行了一次全新的升級。

由新加坡國立大學(xué)尤洋團(tuán)隊、加州大學(xué)伯克利分校以及Meta AI Research聯(lián)手發(fā)布的一項名為“Neural Network Diffusion”的研究，已經(jīng)實現(xiàn)了利用擴(kuò)散模型來生成神經(jīng)網(wǎng)絡(luò)，這意味著擴(kuò)散模型不再局限于生成表面的產(chǎn)品或物體結(jié)構(gòu)，而是直接進(jìn)行底層革新，開始拿神經(jīng)網(wǎng)絡(luò)做文章了，頗有種用魔法來打敗魔法的意味。

論文地址：https://arxiv.org/pdf/2402.13144.pdf

該研究一出，迅速在國際AI社區(qū)引起了熱烈反響，登上了各大模型開發(fā)平臺的熱搜榜單，在業(yè)界內(nèi)收獲了極高贊譽(yù)。

這項工作中，研究團(tuán)隊創(chuàng)新性地應(yīng)用擴(kuò)散模型來生成高性能神經(jīng)網(wǎng)絡(luò)的參數(shù)配置。他們結(jié)合了自動編碼器框架和標(biāo)準(zhǔn)潛在擴(kuò)散模型（LDM）設(shè)計了一種新穎的方法，即“參數(shù)擴(kuò)散”（p-diff），通過訓(xùn)練LDM從隨機(jī)噪聲中合成有效的神經(jīng)網(wǎng)絡(luò)參數(shù)latent representations。

此方法具有以下特點：1）它始終達(dá)到與訓(xùn)練數(shù)據(jù)相似的性能，甚至能在多數(shù)據(jù)集和架構(gòu)中增強(qiáng)性能；2）生成的模型與訓(xùn)練的模型有很大的不同，這表明此方法可以合成新參數(shù)，而不是記憶訓(xùn)練樣本。

擴(kuò)散模型如何生成“神經(jīng)網(wǎng)絡(luò)”？

盡管擴(kuò)散模型已經(jīng)在視覺內(nèi)容生成任務(wù)上取得了顯著成就，然而在其他眾多領(lǐng)域的應(yīng)用潛力仍有待深入挖掘。

在此之前，學(xué)術(shù)界和工業(yè)界的研究重心主要在于如何通過傳統(tǒng)的學(xué)習(xí)策略來獲得針對特定任務(wù)表現(xiàn)優(yōu)異的神經(jīng)網(wǎng)絡(luò)參數(shù)，而不是直接利用擴(kuò)散模型進(jìn)行參數(shù)生成。學(xué)者們普遍從統(tǒng)計學(xué)先驗和概率模型的角度出發(fā)，例如探索隨機(jī)神經(jīng)網(wǎng)絡(luò)架構(gòu)及貝葉斯神經(jīng)網(wǎng)絡(luò)方法，以優(yōu)化模型性能。

而在深度學(xué)習(xí)這個大框架下，雖然監(jiān)督學(xué)習(xí)和自監(jiān)督學(xué)習(xí)一直是訓(xùn)練神經(jīng)網(wǎng)絡(luò)的核心機(jī)制，并且在很多實際應(yīng)用中取得了巨大成功。但為了更好地展示擴(kuò)散模型在生成高效能模型架構(gòu)與參數(shù)方面的卓越能力，研究團(tuán)隊大膽地將目光投向了尚未被充分探索的領(lǐng)域，嘗試?yán)脭U(kuò)散模型來創(chuàng)造并優(yōu)化高性能、結(jié)構(gòu)新穎的神經(jīng)網(wǎng)絡(luò)參數(shù)。

簡而言之，“Neural Network Diffusion”項目所采用的是一種名為“神經(jīng)網(wǎng)絡(luò)擴(kuò)散”的方法（p-diff，p代表參數(shù)），使用標(biāo)準(zhǔn)的LDM來合成新參數(shù)。

該團(tuán)隊經(jīng)過深入研究神經(jīng)網(wǎng)絡(luò)的訓(xùn)練機(jī)制以及擴(kuò)散模型的工作原理后，敏銳地洞察到：基于擴(kuò)散原理的圖像生成過程與隨機(jī)梯度下降（SGD）等常用學(xué)習(xí)方法之間存在著兩種相似性。這意味著擴(kuò)散模型或許能夠借鑒并革新現(xiàn)有的訓(xùn)練范式，從而為構(gòu)建更加智能且高效的神經(jīng)網(wǎng)絡(luò)提供新的視角與工具。

首先，神經(jīng)網(wǎng)絡(luò)訓(xùn)練和擴(kuò)散模型的逆過程都可以被視為從隨機(jī)噪聲/初始化到特定分布的轉(zhuǎn)變。其次，高質(zhì)量圖像和高性能參數(shù)也可以通過多次噪聲的添加來降級為簡單分布，例如高斯分布。

基于這些觀察，研究團(tuán)隊引入了一種新的參數(shù)生成方法，稱之為“神經(jīng)網(wǎng)絡(luò)擴(kuò)散”（p-diff，p代表參數(shù)），它采用標(biāo)準(zhǔn)的LDM來合成一組新的參數(shù)。

擴(kuò)散模型能夠?qū)⒔o定的隨機(jī)分布轉(zhuǎn)換為特定的隨機(jī)分布，因此研究人員使用了一個自動編碼器和一個標(biāo)準(zhǔn)的LDM來學(xué)習(xí)高性能參數(shù)的分布。

該研究方法整合了參數(shù)自動編碼器和擴(kuò)散模型來實現(xiàn)神經(jīng)網(wǎng)絡(luò)參數(shù)的創(chuàng)新生成。首先，研究人員選取一組經(jīng)過充分訓(xùn)練且表現(xiàn)出色的模型作為基礎(chǔ)，從中抽取一部分關(guān)鍵或有代表性的參數(shù)子集，并將這些多維結(jié)構(gòu)的參數(shù)展平為一維向量形式。

接下來，他們構(gòu)建了一個參數(shù)自動編碼器架構(gòu)，其中包含一個編碼器模塊，用于從所提取的一維參數(shù)向量中學(xué)習(xí)潛在的低維表示（latent representations），這一過程能夠捕捉到原有參數(shù)的關(guān)鍵特征和模式。同時配備一個解碼器模塊，其任務(wù)是根據(jù)這些潛在表示恢復(fù)出原始的高維參數(shù)結(jié)構(gòu)。

在此基礎(chǔ)上，團(tuán)隊進(jìn)一步訓(xùn)練一個標(biāo)準(zhǔn)的擴(kuò)散模型（LDM，Latent Diffusion Model）以適應(yīng)參數(shù)生成場景，使其能夠在隨機(jī)噪聲輸入下逐步迭代并生成與目標(biāo)參數(shù)對應(yīng)的高質(zhì)量潛在表示。

訓(xùn)練完成后，研究人員利用一個逆擴(kuò)散過程（p-diffusion process）來生成新的神經(jīng)網(wǎng)絡(luò)參數(shù)。這個過程始于一個隨機(jī)噪聲向量，通過逆向遞歸地應(yīng)用擴(kuò)散模型的反變換，將其一步步轉(zhuǎn)化為有意義的潛在表示。最后，將這些合成的潛在表示輸入訓(xùn)練好的解碼器中，解碼器會將其轉(zhuǎn)換為全新的、有望保持高性能的神經(jīng)網(wǎng)絡(luò)參數(shù)。這種方法不僅拓展了擴(kuò)散模型的應(yīng)用領(lǐng)域，還可能挖掘出之前未被發(fā)現(xiàn)的有效網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)配置。

訓(xùn)練后，研究團(tuán)隊利用 p-diff 通過以下鏈條生成新的參數(shù)：隨機(jī)噪聲 → 逆過程 → 訓(xùn)練好的解碼器 → 生成的參數(shù)。

為了驗證該方法的有效性，研究團(tuán)隊緊接著還在MNIST、CIFAR-10/100、ImageNet-1K、STL-10等廣泛的數(shù)據(jù)集上進(jìn)行了評估實驗，實驗主要在神經(jīng)網(wǎng)絡(luò)ResNet-18/50、ViT-Tiny/Base 和 onvNeXt-T/B 上進(jìn)行。

研究團(tuán)隊詳細(xì)闡述了具體的訓(xùn)練細(xì)節(jié)。在實驗中，自動編碼器和LDM均包含了一個基于 4 層 1D CNN 的編碼器和解碼器。研究人員默認(rèn)收集所有架構(gòu)的200 個訓(xùn)練數(shù)據(jù)。 在神經(jīng)網(wǎng)絡(luò) ResNet-18/50 上，他們從頭開始訓(xùn)練模型。到了最后一個 epoch中，他們則繼續(xù)訓(xùn)練最后兩個歸一化層并修復(fù)其他參數(shù)。在大多數(shù)情況下，自動編碼器和潛在擴(kuò)散訓(xùn)練可以在單個英偉達(dá)的 A100 40G GPU 上于 1~3 小時內(nèi)完成。

實驗過后，研究人員發(fā)現(xiàn)，在大多數(shù)情況下，p-diff的方法取得了與兩個基線相似或更好的結(jié)果，這表明了此方法可以有效地學(xué)習(xí)高性能參數(shù)的分布，并從隨機(jī)噪聲中生成優(yōu)異的模型。而且，該方法在各種數(shù)據(jù)集上始終表現(xiàn)良好，也證明了它具有良好的通用性。

那么如何進(jìn)一步確認(rèn)p-diff是否真正可以合成新參數(shù)，而不只是在記憶訓(xùn)練樣本呢？

為了驗證p-diff能夠生成一些與原始模型表現(xiàn)不同的新參數(shù)，研究團(tuán)隊設(shè)計了另一個實驗，通過比較原始模型、添加噪聲模型、微調(diào)模型和 p-diff 模型的預(yù)測和可視化來研究它們之間的差異。

他們進(jìn)行了四組對比：1）原始模型之間的相似性； 2）p-diff模型之間的相似性； 3）原始模型和p-diff模型之間的相似性； 4) 原始模型和 p-diff 模型之間的最大相似度（最近鄰）。

可以發(fā)現(xiàn)，在不同情況下，生成的模型之間的差異遠(yuǎn)大于原始模型之間的差異。 另外，即使是原始模型和生成模型之間的最大相似度，也低于原始模型之間的相似度。這表明，p-diff 的確可以生成與其訓(xùn)練數(shù)據(jù)表現(xiàn)不同的新參數(shù)。

結(jié)語

Sora的平地一聲驚雷，讓本就火爆的文生圖、文生視頻的領(lǐng)域又增添了好幾分熱度，也讓在圖像和視頻生成方面取得了顯著成功的擴(kuò)散模型獲得了更多的關(guān)注。

而無論是Sora、DALL·E 、Midjourney，還是Stable Diffusion等已經(jīng)擁有眾多用戶的模型，它們背后的魔法都是擴(kuò)散模型。在已有的例子中，擴(kuò)散模型總是被運(yùn)用在生成圖片或視頻上，而這一次，擴(kuò)散模型居然直接滲入更深層，直接生成神經(jīng)網(wǎng)絡(luò)，這堪稱機(jī)器學(xué)習(xí)中“用魔法打敗魔法”的神操作。

今日，研究團(tuán)隊中的三作 Zhuang Liu 還在社交媒體上答復(fù)了網(wǎng)友的疑惑，解釋了“Neural Network Diffusion”和Sora 負(fù)責(zé)人 William Peebles 此前發(fā)布的研究“Learning to Learn with Generative Models of Neural Network Checkpoints”之間的區(qū)別：

William Peebles的研究工作是逐步生成參數(shù)，更像是優(yōu)化器，將先前的檢查點作為輸入。 “Neural Network Diffusion”則是直接生成整套參數(shù)，無需之前的權(quán)重作為輸入。

盡管研究團(tuán)隊目前尚未解決內(nèi)存限制、結(jié)構(gòu)設(shè)計效率和性能穩(wěn)定性等問題，但使用擴(kuò)散模型生成神經(jīng)網(wǎng)絡(luò)的創(chuàng)新嘗試，讓大模型領(lǐng)域的技術(shù)邊界又向外開拓了一面。

擴(kuò)散模型未來將會有何發(fā)展，讓我們拭目以待。

雷峰網(wǎng)(公眾號：雷峰網(wǎng))AI 科技評論將持續(xù)關(guān)注大模型領(lǐng)域動態(tài)，歡迎添加anna042023，交流認(rèn)知，互通有無

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。