人類反超 AI：DeepMind 用 AI 打破矩陣乘法計算速度 50 年記錄一周后，數(shù)學家再次刷新

本文作者：我在思考中

2022-10-20 11:48

導語：站在 AI 的肩膀上，人類走得更遠。

作者 | 李梅、施方圓

編輯 | 陳彩嫻

10 月 5 日，AlphaTensor 橫空出世，DeepMind 宣布其解決了數(shù)學領(lǐng)域 50 年來一個懸而未決的數(shù)學算法問題，即矩陣乘法。AlphaTensor 成為首個用于為矩陣乘法等數(shù)學問題發(fā)現(xiàn)新穎、高效且可證明正確的算法的 AI 系統(tǒng)。論文《Discovering faster matrix multiplication algorithms with reinforcement learning》也登上了 Nature 封面。

然而，AlphaTensor 的記錄僅保持了一周，便被人類數(shù)學家打破了。

來自奧地利林茨約翰·開普勒大學的研究人員 Manuel Kauers 和 Jakob Moosbauer 在其最新工作中表示，他們已經(jīng)打破 AlphaTensor 的矩陣乘法記錄。他們開發(fā)了一種以 95 步執(zhí)行 5×5 矩陣乘法的方法，比 AlphaTensor 的 96 步記錄少了一步，此前的記錄為 98 步。論文預(yù)印版于 10 月 13 日發(fā)布在 arxiv 上。

人類反超 AI：DeepMind 用 AI 打破矩陣乘法計算速度 50 年記錄一周后，數(shù)學家再次刷新

論文地址：https://arxiv.org/abs/2210.04045

論文標題中的 “FBHHRBNRSSSHK”其實就是 DeepMind 論文所有作者姓氏的首字母組合，這種命名方式也是很有趣了：

人類反超 AI：DeepMind 用 AI 打破矩陣乘法計算速度 50 年記錄一周后，數(shù)學家再次刷新

數(shù)學問題的探索永無止境，如作者所說，DeepMind 算法方案 “still not the end of the story”。不過，他們這次的突破是站在巨人也就是 AI 的肩膀上，作者表示，其解決方案是在 DeepMind 方案的基礎(chǔ)上應(yīng)用一系列的轉(zhuǎn)換，從而消除了一步乘法計算。

前進 2 步的 AlphaTensor

我們先來簡要回顧一下 AlphaTensor 的成績。

計算機科學中許多數(shù)學任務(wù)都是通過矩陣乘法來處理的，例如機器學習、計算機圖形的創(chuàng)建，各種模擬或數(shù)據(jù)壓縮。而計算機計算乘法的速度要遠遠慢于加法，因此，即使矩陣乘法的效率提升得很小，也會產(chǎn)生巨大影響，幾十年來，數(shù)學家們一直在尋找更有效的矩陣乘法算法。

1969 年，德國數(shù)學家 Volker Strassen 開發(fā)了一種算法，首次將 4×4 矩陣乘法的求解從 64 步減少到 49 步，震動了數(shù)學界。

而 Deepmind 這次發(fā)布的 AI 系統(tǒng) AlphaTensor，發(fā)現(xiàn)了一種比 Strassen 算法更快的新算法。Demis Hassabis 稱，新算法具備在每天數(shù)萬億次計算中將效率提高 10% ~ 20% 的潛力。

AlphaTensor 是一次從游戲到數(shù)學的飛躍，它基于 2018 年 Deepmind 發(fā)布的通用棋盤游戲 AI 系統(tǒng) AlphaZero。為了訓練 AlphaTensor，Deepmind 研究團隊將矩陣乘法問題轉(zhuǎn)化成一種 3D 棋盤游戲，每一步都會產(chǎn)生新算法的構(gòu)建塊。AlphaTensor 每次會在數(shù)萬次移動中進行選擇，以盡可能少的步驟生成新算法而獲得獎勵。Deepmind 將其稱為“張量游戲”。

在 5×5 的輸入矩陣中，AlphaTensor 獨立發(fā)現(xiàn)了 Strassen 算法和其他已知的算法。并且，它還開發(fā)了比舊算法更有效的新算法。

例如，5×5 矩陣乘法（n=4）以前要計算 80 步，而 AlphaTensor 新算法只需 76 步；當n=5 時，AlphaTensor 將求解從原來的 98 步減少到 96 步。4×4 矩陣乘法由 Strassen 減少到 49 步，AlphaTensor 則將其優(yōu)化到 47 步。這樣的效率是由 AlphaTensor 生成的 70 多個矩陣乘法的算法實現(xiàn)的。

人類反超 AI：DeepMind 用 AI 打破矩陣乘法計算速度 50 年記錄一周后，數(shù)學家再次刷新

圖注：AlphaTensor 發(fā)現(xiàn)的算法復(fù)雜性與已知矩陣乘法算法比較

此外，AlphaTensor 還可開發(fā)特定硬件的算法，用于機器學習。據(jù)說目前運行速度比谷歌 TPU 和英偉達 V100 上的算法快 20%。

自主調(diào)整乘法算法以適應(yīng)硬件的方法對人類來說很困難，所以 AlphaTensor 對 Strassen 算法的改進創(chuàng)造了 4×4 矩陣乘法的新上限，是 AI 進步為其他學科提供助力的一大證明。它也表明，原本為傳統(tǒng)游戲開發(fā)的 AlphaZero 系統(tǒng)可以解決領(lǐng)域之外的數(shù)學問題。

人類再向前 1 步

在 Manuel Kauers 和 Jakob Moosbauer 的最新研究中，他們主要有兩個新發(fā)現(xiàn)，一是對于 4×4 矩陣，他們提出了另一種 47 步乘法的求解算法，但不同于先前的解決方案；二是對于 5×5 矩陣，他們首次提出了一種需要 95 步乘法的方案。

在這篇文章中，作者簡單展示了這兩個矩陣乘法的方案，不久后將發(fā)表正式論文，更詳細地介紹求解算法的搜索技術(shù)。

4 × 4 矩陣的新方案共包含 47 次乘法，如下：