0
| 本文作者： 我在思考中 | 2022-02-08 15:25 |
編輯 | 青暮
人工智能的下一個目標是從模仿認知學習，轉(zhuǎn)向解決一直存在的大規(guī)?？茖W計算問題，UC伯克利教授Michael Jordan曾經(jīng)強調(diào)。而李國杰院士也曾在與雷峰網(wǎng)的交流中進一步指出，人工智能應該突破約翰·麥肯錫和艾倫·圖靈定下來的框框，去研究NP-hard級別的大難題，讓基礎科研走向大工程化。也就是說，要用數(shù)據(jù)、算力和算法合力去尋找這類難題的具體解，并落地應用，而不僅僅追求理論邊界的證明。
這些具有組合爆炸性特點的難題很早就已存在，并且有非常顯式的定義，但依然由于計算難題被卡住。而人工智能特別是深度學習在層級特征建模、壓縮表征等方面的優(yōu)勢，為解決這類問題帶來了新的曙光。AlphaFold是其中的絕佳范例，再往上一層看，在整個AI for Science領域中，比如物理、化學、生物等都存在大量的未解決NP-hard問題，其中就包括了物理學中的量子多體問題。
比如，確定量子混合態(tài)是否存在糾纏就是一個NP-hard問題。k-Local Hamiltonian 問題（k-LH）至少是NP-hard問題。它們都涉及量子多體系統(tǒng)。
k-LH問題是指：給定k，在n個量子比特的系統(tǒng)中，存在一組約束，每個約束最多涉及k個量子比特，希望確定系統(tǒng)的基態(tài)能量是高于某個閾值或低于某個閾值。它屬于一種量子多體問題，并且k不小于2時，至少是NP-hard的。當k=3或以上時，甚至出現(xiàn)了更高階的復雜性類——QMA完全。
QMA類似于經(jīng)典復雜性類中的NP，也就是說，如果一個問題的答案可以在量子計算機上以多項式時間驗證（并且至少有2/3的概率是正確的），但無法以多項式時間給出答案，則該問題的復雜性類為QMA。同樣，QMA完全也類似于NP完全。
多年以來，量子多體物理領域是凝聚態(tài)物理中最核心和最優(yōu)挑戰(zhàn)性的話題之一。比如物理世界中我們能夠觀測到的一些奇特物理現(xiàn)象和物質(zhì)中，最具代表性的便是超導、超固量子Hall效應、超流、玻色－愛因斯坦凝聚和量子自旋液體等，都是基于大量粒子相互作用的量子現(xiàn)象。
著名的物理學家Phlips Anderson曾說，“More is Different”，這是指我們的世界并非各個物質(zhì)的簡單疊加，當系統(tǒng)中的粒子數(shù)以及元素種類增多的時候，會導致1+1>2的效果。從理論上來說就是量子多體之間的相互作用所致的結果。
由于希爾伯特空間隨著粒子數(shù)增加而指數(shù)增長（組合爆炸），量子多體問題的高精度模擬是對于經(jīng)典計算機極富挑戰(zhàn)性的問題。近幾年發(fā)展起來的深度學習算法為模擬量子多體提供了新的有效的計算工具。
2021年12月16日，中國科技大學物理系教授何力新在CNCC 2021“人工智能在超大規(guī)?？茖W計算領域的應用探索”專題論壇上做了題為《深度學習算法在新一代神威超算平臺的應用：量子多體問題模擬》的學術報告，分享了深度學習算法在量子多體模擬問題上的研究工作和領域進展。
在報告中，何力新表示，他們團隊設計了基于卷積神經(jīng)網(wǎng)絡的新算法，對強阻挫的強關聯(lián)自旋系統(tǒng)實現(xiàn)了高精度的基態(tài)模擬。他們還在新一代神威超級計算機上移植并優(yōu)化了該算法，并計算了著名的方格J1-J2模型，將計算的系統(tǒng)規(guī)模及計算精度提高到了新的高度。在移植、優(yōu)化程序的過程中，通過物理學-并行優(yōu)化-超算系統(tǒng)三方面交叉團隊，成功在新一代神威超算上實現(xiàn)高性能的量子多體問題模擬，為構建國產(chǎn)AI-HPC生態(tài)提供一個優(yōu)秀的模板示例。
何力新教授是中國科技大學物理系教授，1997年畢業(yè)于中國科技大學，2003年在美國羅格斯大學攻讀博士，2003~2006年在美國國家再生能源實驗室從事量子點的理論研究工作，并于2006年回國到中科大中科院量子信息中心進行研究工作，2011年獲得杰青稱號，2012年入選IOP Fellow，曾任科技部量子調(diào)控量子通信網(wǎng)絡和量子仿真關鍵器件物理實現(xiàn)之首席科學家。
以下是演講全文，AI科技評論進行了不改變原意的整理：
研究量子多體問題具有極強的科學意義，可以從兩個方面進行概括。首先在基礎研究的角度上來看，量子多體問題的一個主要目標是發(fā)現(xiàn)和研究新的物質(zhì)形態(tài)。我們可能對生活中常見的固體、液體和氣體形式十分熟悉，但其實自然界中有很多其他物質(zhì)形態(tài)，比如我們之前所說的超導和量子自旋液體等，這些新型的物理形態(tài)都具有各自的存在意義以及研究價值。
因此通過對新型物質(zhì)形態(tài)的研究，我們便可以洞悉和總結物理世界的深層規(guī)律和法則。
另一項具有意義的方向是研究其應用價值。例如高溫超導已經(jīng)在能源、交通、精密測量和信息等領域有了廣泛的應用。托克馬克裝置需要非常強的磁場進行物理約束，因此可以利用超導體產(chǎn)生超強的磁場。此外，拓撲序也可以進行拓撲量子計算。
在量子多體物理的模型中，有兩個經(jīng)典模型，即海森堡自旋模型，以及哈伯德電子模型。其中海森堡模型其本質(zhì)是一個自旋模型，它描述了格點上兩個自旋量子的相互作用。比如圖中描述了兩個最近鄰的兩個量子發(fā)生的交換作用J，如果J>0，則兩個粒子傾向于自旋反平行。但是當J<0時，粒子傾向于自旋平行。
另一個經(jīng)典模型是哈伯德模型，它描述了電子運動的模型。該模型描述了量子在格點上的運動，其中第一項表示的是電子從一個格點跳躍到另一個格點的過程。第二項，描述的是同一格點上電子的庫侖排斥作用。
從局部的角度來看，這兩種模型很容易理解。但是當粒子數(shù)逐漸增加的時候，系統(tǒng)將變得十分復雜，對其求解將會變得十分困難，算力需求也難以滿足。
計算困難的根本原因在于量子態(tài)的希爾伯特空間會隨著粒子數(shù)量的增加而呈現(xiàn)指數(shù)級的增長。比如有N個1/2的自旋粒子，每個自旋有上下兩個狀態(tài)，那么態(tài)空間將達到2^N級別。因此如果我們需要對其進行嚴格求解，會遇到“指數(shù)墻”的問題，也就是算力需求巨大。目前我們只能實現(xiàn)大約40個格點的自旋系統(tǒng)的嚴格求解。
此外，我們也有一些其它近似方法，例如量子蒙特卡洛方法。但是它在計算費米系統(tǒng)（電子系統(tǒng)）和阻挫系統(tǒng)時會出現(xiàn)符號問題，即負幾率問題。而動力學平均場方法，會對一維和二維等低維度的模型有計算問題。最后是密度矩陣重整化方法，只能計算一維和準一維的問題。
在過去的十幾年間，國際上發(fā)展了一些新的算法，例如張量網(wǎng)絡態(tài)方法（PEPS算法）。這些算法將量子態(tài)表示為格點上的張量乘積形式。原則上這種方法可以在一定程度上克服已有方法的不足，它可以應用于二維系統(tǒng)，也不存在對阻挫系統(tǒng)和費米系統(tǒng)中的符號問題。
但是另一方面，它的計算復雜度很高，尤其是對周期性邊界條件的問題。因此我們目前無法對具有周期性邊界條件的系統(tǒng)進行有效的模擬。
在2018年，我們曾經(jīng)在神威機器上進行了PEPS算法的實現(xiàn)和模擬。當時可以將算法的并行度做到1000萬核。我們可以看到之前工作的算法精度僅能達到10-3，但是神威機上的PEPS算法則將精度是提高了2個量級。但是這個算法仍舊僅適用于開放邊界條件的問題。
我們知道在AlphaGo在擊敗人類圍棋玩家之后，深度學習大熱，引起了很多領域的改革。實際上，深度學習在凝聚態(tài)物理學中也掀起了一番熱烈討論和嘗試。它可以做實驗數(shù)據(jù)的處理，可以進行機器學習勢場模型的模擬和求解，也有工作研究了用AI進行分子和晶體結構的分類和預測，進行電子密度的學習等。近些年DeepMind的最新工作就是在這些方面進行研究和發(fā)現(xiàn)，比如使用神經(jīng)網(wǎng)絡估計電荷的密度，并且超越了人類的估計結果。
大家也在嘗試將深度學習和機器學習用在量子多體問題中。上圖是2017年的一篇Science工作，它使用受限玻爾茲曼機模型研究海森堡自旋模型，將系統(tǒng)的粒子波函數(shù)利用玻爾茲曼機進行表示和學習，通過優(yōu)化系統(tǒng)的能量，得到神經(jīng)網(wǎng)絡的最佳參數(shù)。
在量子多體系統(tǒng)中，算法的好壞判斷標準是計算的能量是否最優(yōu)。從結果中我們看到，該計算能量的精度已經(jīng)到達10-3量級，甚至超過了（我們神威工作）之前PEPS的算法效果。
但是該神經(jīng)網(wǎng)絡也面臨一些問題，它只能描述簡單的物理模型，無法模擬具有競爭相互作用的物理系統(tǒng)。
那么什么是相互競爭作用呢？我們結合這里的模型進行解釋。J1－J2模型是一個典型的具有競爭相互作用的自旋模型。我們看到圖中每個格點上有一個自旋，它們與近鄰的自旋有相互作用，其中J1描述兩個最近臨的格點上的自旋相互作用，J2則描述了兩個次近鄰格點上自旋的相互作用，也就是對角線上的相互作用。如果相互作用的J大于0，則意味著這兩個格點的自旋都傾向反平行。當J1, J2 都大于0時就會出現(xiàn)問題，即如果近鄰格點是反平行，那么次近鄰格點就一定是平行的，這就和J2相互作用的要求矛盾。該種帶有競爭相互作用的系統(tǒng)被稱為阻挫系統(tǒng)。
打個比方，一個員工可能有兩個老板，其中一個老板要求你向東走，另一個要求向西走。則此時會產(chǎn)生矛盾（Frustrated Interaction）。當然，如果其中一個老板很強勢，我們跟著強勢的走。但是如果兩個老板勢均力敵，你就會很迷茫。
對J1-J2模型也是如此，如果J1較為強勢，那么系統(tǒng)中的自旋會傾向于做出棋盤形狀的持續(xù)排列。如果J2更強勢，自旋則會沿對角線進行反平行排列。當兩者相互作用效果相近時，則會產(chǎn)生更多豐富的物理現(xiàn)象。
J1-J2模型十分經(jīng)典，人們對其基態(tài)進行了長期的研究。目前針對J1較強，以及J2較強的情況研究已經(jīng)較為清晰的結論，但是對于J1-J2共同作用的中間區(qū)域，一直存在爭議。
對于該區(qū)域的基態(tài)，人們有幾種不同的看法。比如，有人認為格點可以形成Plaguette態(tài)，Plaguette態(tài)是一個規(guī)則有序的態(tài)；此外，也可能會形成Columnar態(tài)；也有人提出，可能其中就是一種混亂無序的狀態(tài)，即自旋液體態(tài)。自旋液體態(tài)十分復雜，有著非常復雜的量子糾纏和奇異量子行為。Philip Anderson認為量子自旋液體是研究高溫超導的關鍵問題之一。
之前的玻爾茲曼機模型是無法很好地模擬該場景的。在該方法中，它將波函數(shù)視作所有可能自旋結構的疊加，其中W(S)就是自旋構型的權重，該權重在海森堡模型中都是>0的，但是在有競爭的模型中正負都有可能。因此在玻爾茲曼機模型中，就無法處理此類同時具有正負情況的波函數(shù)。
為此，我們提出使用深度卷積神經(jīng)網(wǎng)絡來描述波函數(shù)。我們的網(wǎng)絡包括了很多Building Block，每個Block又分為多種算子，包括卷積、Max pooling和反卷積等。
當我們輸入一個自旋構型，該網(wǎng)絡可以給出有正有負的構型權重，此時的參數(shù)量是隨格點數(shù)量線性增長，而非災難的指數(shù)形增長，這就意味著我們的神經(jīng)網(wǎng)絡可以使用有限擴增的參數(shù)量來模擬出系統(tǒng)中指數(shù)增長的Hilbert空間。當然這個空間也是僅在基態(tài)附近的部分。
當我們確定了神經(jīng)網(wǎng)絡的結構來模擬波函數(shù)后，重要的是需要獲得系統(tǒng)的基態(tài)，所謂基態(tài)是指系統(tǒng)的能量最低態(tài)。也就是我們需要通過神經(jīng)網(wǎng)絡求解系統(tǒng)能量最低態(tài)的參數(shù)。
這里的能量可以表示成所有自旋構型加權求和的形式，因此可以使用馬爾可夫抽樣的方式進行求解。這是一個典型的強化學習場景，我們可以通過優(yōu)化系統(tǒng)能量來得到網(wǎng)絡參數(shù)。
但是這個模型和一般的機器學習算法有所差異。第一，它需要極高的精度，我們需要比其他方法要求高至少2個量級的精度。其原因是量子態(tài)的求解精度需求極高，微小的誤差將對基態(tài)解產(chǎn)生巨大影響。此外，系統(tǒng)中可能存在多個局部最優(yōu)點，若我們用普通方法進行優(yōu)化，則可能陷入局域極值中。
為了解決這個問題，我們使用SR方法進行解決。在機器學習中我們常稱之為自然梯度法。為了更新網(wǎng)絡參數(shù)，我們需要求解能量對參數(shù)的多個梯度，為了計算梯度相，我們需要進行求導，并求解關聯(lián)矩陣的預處理，加速收斂。
這里的計算熱點包括馬爾可夫采樣。因為我們需要計算關聯(lián)矩陣，需要50萬sweep的自旋樣本，每個sweep都需要對所有網(wǎng)格進行翻轉(zhuǎn)。但是在sweep之間是不需要進行求導和反向傳播的，我們只需要正向執(zhí)行，并在全部sweep做完后進行反向傳播，以此降低通訊時間占比，以及計算量。
另一個計算熱點是SR優(yōu)化方法。在SR算法中一個重要步驟是計算大的關聯(lián)矩陣，然后求解線性方程組。具體哪部分的耗時是最嚴重的，其實是由模型參數(shù)大小所決定的。如果系統(tǒng)越大，采樣越耗時，參數(shù)越多，SR方法的耗時越大。
我們分別在自己的機器以及新一代的神威機上進行了驗證和部署。神威機具有異構的結構，其NPI處于核組之間，因此有64個組合。在核組級別上的并行本質(zhì)是線程并行。神威機的異構結構很適合此類應用，因此為了最大化利用神威機的能力，我們針對神威機的特點和應用特點設計了雙層并行方案。首先在核組之間的并行被用作自旋采樣，即每個自旋部署在不同的核組之上進行獨立采樣。在求解線性方程組的時候，會使用ScaLAPACK進行計算劃分。在并行內(nèi)部，我們使用卷積算子從核加速，并利用網(wǎng)絡輸出時采用批次＞1的計算，將從核的計算性能妥善利用。
這是我們的程序在新的神威機上的移植和優(yōu)化的示意圖全覽?？梢钥吹皆诓煌暮私M之間我們進行了單獨獨立的采樣；采樣后將其收集并計算關聯(lián)矩陣，并求導更新參數(shù)。這項工作最大利用了10萬核組測試。
在性能表現(xiàn)方面，我們對比各個主機的用時結果。從上圖中我們可以看到，我們分別比較了16000個參數(shù)，和10萬個參數(shù)的場景。不論參數(shù)量如何，其主要的計算時間還是集中在前向計算部分，SR優(yōu)化的占比只有1/4左右。
本工作的另一個優(yōu)點在于其可遷移性極高。我們首先可以在較小的神經(jīng)網(wǎng)絡中進行學習，而后將其擴展到體積大的網(wǎng)絡中。在實踐中，遷移后通常只需要幾百步便可以使大網(wǎng)絡收斂，這無疑加速了模型的訓練和應用。
這里我們對比了性能。綠色和棕色線都是直接學習的結果，藍色和紅色是遷移的結果。通過圖中結果我們知道，如果使用直接學習，則網(wǎng)絡很難收斂到最佳結果，而遷移則極大加快了這個最優(yōu)化的過程。
我們也分析了基態(tài)能量部分的外推結果，經(jīng)過計算發(fā)現(xiàn)，能量在網(wǎng)格達到24×24后便逐漸收斂，我們也對多種磁序進行外推，比如Dimer序和反鐵磁序。結果發(fā)現(xiàn)，系統(tǒng)在中間區(qū)域的基態(tài)是自旋液體相。
與之前的最佳結果對比，我們的優(yōu)勢在于，網(wǎng)絡的擴展性更高，也就是可以處理的系統(tǒng)尺寸更大，具有極好的遷移學習特征。
在下一步工作中，我們將繼續(xù)進行相關研究，主要優(yōu)化卷積算子的性能，提高神經(jīng)網(wǎng)絡的計算速度；優(yōu)化ScaLAPACK庫，提升優(yōu)化算法的速度；增加網(wǎng)絡參數(shù)，得到精度更高的基態(tài)。
該模型可以進一步拓展到其他種類模型上，比如三角格子、六角格子和kagome格子等場景。我們還可以在近鄰、次近鄰作用的基礎上添加次次近鄰的相互作用。這些物理模型都有其特殊物理現(xiàn)象。
該模型還能用在費米子（電子）模型比如t－J模型上，我們初步的測試目前來看效果很好。
但是當前我們的研究還是限于系統(tǒng)的基態(tài)，即T=0K的場景。而真正有限溫度下的系統(tǒng)，可能存在更豐富的物理系統(tǒng)屬性，可以計算更多的物理量和實驗進行對比。
有限溫度的研究是個極大挑戰(zhàn)。因為絕對零度場景下系統(tǒng)處于基態(tài)，因此可以使用波函數(shù)進行描述。但是當溫度不等于零時，系統(tǒng)處于混態(tài)，就必須使用密度矩陣進行描述。此時樣本空間將會成倍的增加，因此需要更多的網(wǎng)絡參數(shù)，甚至到達100萬左右的級別。
雷峰網(wǎng)(公眾號：雷峰網(wǎng))雷峰網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
