0
| 本文作者： AI研習(xí)社-譯站 | 2020-12-18 18:26 |
譯者：AI研習(xí)社（Key）
雙語原文鏈接：Compute Goes Brrr: Revisiting Sutton’s Bitter Lesson for Artificial Intelligence
回顧理查德·薩頓關(guān)于AI的慘痛教訓(xùn)
就在不久前的過去，在一個(gè)與我們今天相差無幾的世界上，在達(dá)特茅斯學(xué)院，有這樣一個(gè)雄心勃勃的項(xiàng)目，志在彌合人類與機(jī)器智能之間的鴻溝。那是1956年。雖然達(dá)特茅斯夏季人工智能研究項(xiàng)目并不是第一個(gè)對思考機(jī)器的潛力提出設(shè)想的研究項(xiàng)目，但它的確為這個(gè)領(lǐng)域取了一個(gè)公認(rèn)的名字（“人工智能”），并建立了由具有影響力的研究者們所組成的一座“萬神殿”。在約翰·麥卡錫、馬文·閔斯基、克勞德·香農(nóng)與納撒尼爾·羅切斯特共同撰寫的提案中，作者們的目標(biāo)雖然仍不成熟，但他們的雄心壯志，即使今天看來也足夠奇妙有趣。
（我們）將致力于探索如何讓機(jī)器使用語言，形成歸納和概念，解決現(xiàn)在只有人類可以涉足的各種問題，并進(jìn)行自我改良。我們認(rèn)為，如果一個(gè)經(jīng)過精心挑選的科學(xué)家團(tuán)隊(duì)在一起工作一個(gè)夏天，就可以在其中的一個(gè)或多個(gè)問題上取得重大進(jìn)展。——《達(dá)特茅斯夏季人工智能研究項(xiàng)目提案》，1955年
從那時(shí)起到現(xiàn)在，關(guān)于人工智能的研究，經(jīng)歷過車水馬龍的盛況，也不乏門可羅雀的冷落。在1956年，盛行的方法包括元胞自動(dòng)機(jī)、控制論（cybernetics）、信息論。隨著時(shí)間的流逝，專家系統(tǒng)、形式推理、連接主義等方法也輪番亮相，各領(lǐng)風(fēng)騷。
今日，AI的復(fù)興源于連接主義一脈相承的最新成果——深度學(xué)習(xí)。盡管一些新思想的確也在這個(gè)領(lǐng)域造成了相當(dāng)大的沖擊（僅舉幾例：注意力機(jī)制、殘差連接、批量歸一化），大部分關(guān)于建立和訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的思想，早在上世紀(jì)八九十年代就已經(jīng)被提出。然而今天，AI與AI相關(guān)的技術(shù)所扮演的角色，卻并不是任何在之前的“AI之春”中活躍的研究者所想象的那個(gè)樣子。例如，幾乎沒有人能預(yù)見到，廣告科技（adtech）和算法驅(qū)動(dòng)的新聞供稿的盛行與社會(huì)反響。我也很確信，他們中的很多人會(huì)為今天的社會(huì)如此缺少仿真機(jī)器人而感到失望。
約翰·麥卡錫，達(dá)特茅斯提案的共同作者，以及“人工智能”一詞的發(fā)明者。圖源
約翰·麥卡錫曾經(jīng)抱怨過，落實(shí)到現(xiàn)實(shí)世界的AI技術(shù)，總是會(huì)變得不那么吸引人，并會(huì)逐漸失去“AI”的名字。不過，這并非我們今天所見的現(xiàn)象——也許我們要?dú)w咎于風(fēng)險(xiǎn)投資和政府基金，因?yàn)槭撬鼈児膭?lì)大家去做了截然相反的事情。倫敦風(fēng)險(xiǎn)投資公司MMC的一份調(diào)查顯示，在2019年的歐洲，高達(dá)40%自稱的AI創(chuàng)業(yè)公司實(shí)際上并不將AI作為它們業(yè)務(wù)的核心構(gòu)成部分。
深度學(xué)習(xí)時(shí)代與之前那些AI研究的那些暖春期之間的區(qū)別，似乎可以被歸結(jié)為摩爾定律的S形曲線。許多人將“ImageNet時(shí)刻”視為今天AI/ML復(fù)興的起點(diǎn)——一個(gè)名叫AlexNet的模型，以壓倒性優(yōu)勢贏得了2012年ImageNet大規(guī)模視覺識(shí)別挑戰(zhàn)賽（ILSVRC）。AlexNet的結(jié)構(gòu)，與在它20多年前就被提出的LeNet-5并沒有很大的差別。
擁有5個(gè)卷積層的AlexNet，比擁有3個(gè)的LeNet要稍大一些。它總共有8層，而LeNet有7層（其中2層是池化層）。而其中的重大突破，則在于圖形處理單元（GPU）以并行處理的方式實(shí)現(xiàn)最基礎(chǔ)的神經(jīng)網(wǎng)絡(luò)運(yùn)算（卷積與矩陣乘法），以及由李飛飛和她在斯坦福大學(xué)的實(shí)驗(yàn)室所整理的、兼具規(guī)模和質(zhì)量的ImageNet數(shù)據(jù)集。
硬件加速的存在，在今天的深度學(xué)習(xí)從業(yè)者看來已經(jīng)是理所當(dāng)然。它是諸如Pytorch、TensorFlow、JAX等熱門深度學(xué)習(xí)庫不可缺少的部分。深度學(xué)習(xí)研究者隊(duì)伍的壯大，和面向AI/ML的商業(yè)需求的日益增長，構(gòu)建了一個(gè)協(xié)同反饋的循環(huán)，從而推動(dòng)了良好的硬件支持的形成。而當(dāng)基于FPGA、ASIC甚至是光子或量子芯片的新型硬件加速器逐漸為人們所用，各類熱門學(xué)習(xí)庫的軟件支持也自然緊隨其后。
ML硬件加速器與其賦予AI研究的更多算力所帶來的沖擊，被理查德·薩頓簡潔地概括在了一篇相（臭）當(dāng)（名）出（昭）名（著）的短文《慘痛的教訓(xùn)》中。文中，薩頓——這位曾（共同）撰寫過強(qiáng)化學(xué)習(xí)的教科書的人物——卻聲稱AI研究者們所付出的所有勤奮努力和聰明才華，對于整個(gè)大框架幾乎沒有起到任何推動(dòng)作用。根據(jù)薩頓的說法，當(dāng)前AI進(jìn)步的主要驅(qū)動(dòng)者，是日益提升的算力被用于實(shí)現(xiàn)我們既有的簡單的學(xué)習(xí)和搜索算法的結(jié)果，而其中包含的硬編碼的人類知識(shí)只是所需的最低水平。而薩頓認(rèn)為，基于AI的方法應(yīng)該是盡可能普適的方法，諸如無約束搜索和學(xué)習(xí)。
不出所料地，許多研究者都對薩頓所說的這個(gè)教訓(xùn)有著截然不同的觀點(diǎn)。畢竟，他們中的許多人都將畢生心血投入到關(guān)于AI的各種技巧和理論基礎(chǔ)的研究上，以期推動(dòng)AI發(fā)展的進(jìn)程。許多AI研究者并不局限于探索如何達(dá)到最先進(jìn)的指標(biāo)，而是希望學(xué)習(xí)所謂智能的本質(zhì)，或更抽象地說，人類在整個(gè)宇宙中所扮演的角色。薩頓的表述似乎在支持這樣一個(gè)令人失望的結(jié)論，即：對理論神經(jīng)科學(xué)、數(shù)學(xué)、認(rèn)知心理學(xué)等學(xué)科的探索，對于推動(dòng)AI的發(fā)展是毫無幫助的。
對薩頓的這篇短文，值得關(guān)注的一些批評包括了機(jī)器人學(xué)家羅德尼·布魯克斯的《更好的一課》（譯注：原文標(biāo)題為“A Better Lesson”，與薩頓的標(biāo)題“A Bitter Lesson”僅一字之差），牛津大學(xué)計(jì)算機(jī)科學(xué)教授西蒙·懷特森的一串推文，以及Shopify的數(shù)據(jù)科學(xué)家凱瑟琳·貝利的一篇博客。貝利反駁道，雖然薩頓對現(xiàn)代AI領(lǐng)域中那些僅局限于追求指標(biāo)的課題的論斷也許是對的，但這樣的短視卻完全沒有抓住關(guān)鍵。AI研究的終極目標(biāo)，應(yīng)該是從可利用的角度去理解智能，而不是對每個(gè)特定的指標(biāo)優(yōu)化問題都從頭訓(xùn)練出一個(gè)新模型——這需要付出極大的金錢和精力。貝利認(rèn)為，現(xiàn)代的機(jī)器學(xué)習(xí)從業(yè)者，常常會(huì)誤將指標(biāo)當(dāng)作目標(biāo)；研究者們之所以要造出超越人類的下棋機(jī)器或圍棋機(jī)器人，不是為了他們自己，而是因?yàn)檫@些工作對于人類智能的某些方面，可能是至關(guān)重要的例證。
布魯克斯和懷特森則反駁道，薩頓所提及的所有“不涉及人類先驗(yàn)”的例子，實(shí)際上都是大量人類智慧的結(jié)晶。例如，如果沒有卷積層的平移不變性，那么很難想象，深度神經(jīng)網(wǎng)絡(luò)可以表現(xiàn)得像今天的殘差網(wǎng)絡(luò)（ResNet）一樣好。我們也可以發(fā)現(xiàn)當(dāng)前網(wǎng)絡(luò)仍具有的很多不足，例如不滿足旋轉(zhuǎn)不變性或顏色不變性。此外，網(wǎng)絡(luò)結(jié)構(gòu)和訓(xùn)練細(xì)節(jié)也十分依賴人類的直覺和智慧。雖然比起人類工程師手動(dòng)設(shè)計(jì)的模型，自動(dòng)化的神經(jīng)結(jié)構(gòu)搜索（NAS）有時(shí)可以找到更好的網(wǎng)絡(luò)結(jié)構(gòu)，但NAS算法最初的搜索范圍，也是從所有的可能性里大大縮減后得到的——而縮小搜索范圍，一直是人類設(shè)計(jì)者所管轄的領(lǐng)域。
懷特森反駁道，搭建機(jī)器學(xué)習(xí)系統(tǒng)的人類智慧對解決復(fù)雜問題而言是必需，而不是阻礙。
對“慘痛教訓(xùn)”發(fā)聲的批評人士中，也包括不少對深度學(xué)習(xí)整體都存有懷疑的研究者。深度學(xué)習(xí)依舊維持著令人印象深刻的龐大規(guī)模，投入算力的開支不斷膨脹，關(guān)于其能源消耗影響環(huán)境的擔(dān)憂也日益加重。而且，沒人能夠保證，在未來的某個(gè)時(shí)刻，深度學(xué)習(xí)不會(huì)撞到一堵難以逾越的南墻——也許很快了。
距離邊際收益無法再承受額外的支出，還有多久？深度學(xué)習(xí)的進(jìn)步讓人吃驚的原因之一，在于模型本身是很難被人們理解的；一個(gè)模型的表現(xiàn)，是從具有數(shù)以萬億計(jì)的參數(shù)所構(gòu)成的復(fù)雜系統(tǒng)中突然出現(xiàn)的產(chǎn)物。要預(yù)測或分析它們到底能做到什么地步，相當(dāng)困難。
也許我們所有人都應(yīng)該認(rèn)真記住符號(hào)人工智能（GOFAI）的經(jīng)典，由斯圖爾格·羅素和彼得·諾維格合著的《人工智能：一種現(xiàn)代方法》里的一課。在書中臨近最后一章的結(jié)尾，我們發(fā)現(xiàn)了以下的警告：在關(guān)于AI的研究中，我們偏愛的方法——對我們來說是深度學(xué)習(xí)——也許就像：
“…爬一棵樹就想登上月亮。人們可以一直穩(wěn)步攀升，直到樹頂。”——《人工智能：一種現(xiàn)代方法》，斯圖爾格·羅素，彼得·諾維格
作者們在這里換了一種方式表述了休伯特·德雷福斯在1992年所著的《計(jì)算機(jī)不能做什么》中的一個(gè)比喻，而這常常會(huì)回到那個(gè)月球旅行的樹棲策略的比喻。盡管許多原始的智人曾經(jīng)嘗試過這個(gè)方法，但實(shí)際上，要登上月亮，首先要從樹上下來，然后開始為太空計(jì)劃扎扎實(shí)實(shí)地做準(zhǔn)備。
盡管這些批評聽起來頗有說服力，但它們留給別人的印象，也只比酸葡萄稍微好一點(diǎn)。當(dāng)學(xué)術(shù)界還在被知識(shí)分子們無法滿足的“更多算力”的呼聲拖后腿的時(shí)候，大型私人研究機(jī)構(gòu)的研究者們馬不停蹄地在各種項(xiàng)目里登上頭條。而他們在工程上花費(fèi)的心血，基本上都直接投入到了規(guī)模化當(dāng)中。
而在這方面最臭名昭著的，莫過于OpenAI。
OpenAI在去年從非盈利組織轉(zhuǎn)變?yōu)橛邢藓匣锲髽I(yè)，而它的核心人員從未掩飾過他們對于海量算力的偏愛。其創(chuàng)始人格雷格·布羅克曼與伊爾亞?蘇茨克維，與許多蓬勃成長的公司里的科技人士一樣，正是理查德·薩頓的“慘痛教訓(xùn)”所形容的那樣的人。OpenAI為沖刺里程碑所需的大量訓(xùn)練任務(wù)，促使相應(yīng)的基礎(chǔ)工程建設(shè)成為一大亮點(diǎn)。
OpenAI Five打敗了（人類）Dota2世界冠軍隊(duì)伍OG，而它“僅僅”只用了45,000年——即每天進(jìn)行大約250年的游戲——來進(jìn)行學(xué)習(xí)。在10個(gè)實(shí)時(shí)月內(nèi)，它始終維持著800pefaflop/s-days（pfs-day）的算力。（譯注：1pfs-day指一天內(nèi)可進(jìn)行約10的20次方次加法或乘法運(yùn)算）如果以世界最先進(jìn)的性能功耗比，每瓦特進(jìn)行170億次運(yùn)算來計(jì)算，其能量消耗甚至超過1.1吉瓦時(shí)，即一個(gè)正常美國家庭92年的總用電量。
OpenAI的另一個(gè)高規(guī)格、高消耗的項(xiàng)目，則是他們的Dactyl，Shadow機(jī)器靈巧手項(xiàng)目。該項(xiàng)目的高光時(shí)刻，是機(jī)器手可以靈巧地解出魔方（雖然選擇解法的步驟是由一個(gè)確定的求解器完成的）。這一解魔方的項(xiàng)目，是建立在大約13,000年的模擬器經(jīng)驗(yàn)之上的。此外，DeepMind與之相當(dāng)?shù)腁lphaStar（44天，384塊TPU訓(xùn)練12個(gè)智能體，模擬進(jìn)行了數(shù)千年的游戲）或AlphaGo系列（AlphaGo Zero：約1800pfs-day）等項(xiàng)目，也需要在計(jì)算資源上投入大量開支。
但在“慘痛教訓(xùn)”所描述的潮流以外，也存在著這樣一個(gè)鮮明的反例：訓(xùn)練游戲智能體的AlphaGo系列，在取得更好的表現(xiàn)的同時(shí)，實(shí)際上所需的算力反而更少。AlphaGo系列的確是個(gè)很有趣的例子，因?yàn)樗鼰o法融入“慘痛教訓(xùn)”所提出的框架之內(nèi)。沒錯(cuò)，這個(gè)項(xiàng)目一開始確實(shí)調(diào)用了壓倒性的高性能計(jì)算資源用于訓(xùn)練：AlphaGo使用了176塊GPU，并會(huì)在測試階段消耗4萬瓦特的能量。但從AlphaGo到MuZero之間的每一次更新?lián)Q代，無論在訓(xùn)練階段還是實(shí)際演示階段，都消耗了更少的能量以及算力。
實(shí)際上，在AlphaGo Zero對陣“鱈魚”——前深度學(xué)習(xí)時(shí)代最先進(jìn)的下棋引擎——的時(shí)候，它的搜索次數(shù)比起StockFish要少得多，也要有針對性得多。雖然AlphGo Zero使用了蒙特卡羅樹搜索，但為其“引路”的價(jià)值函數(shù)卻是由一個(gè)深度神經(jīng)網(wǎng)絡(luò)所確定的。而“鱈魚”所用的Alpha-beta剪枝搜索法，則有著更廣的搜索范圍：在每個(gè)回合中，“鱈魚”所考慮的棋盤走位大概是AlphaGo Zero的400倍。
你應(yīng)該還記得，無約束搜索是薩頓曾列舉的一個(gè)普適方法的例子。而如果我們?nèi)P接受“慘痛教訓(xùn)”，那么它的表現(xiàn)應(yīng)該比一個(gè)搜索范圍更窄的針對性方法要來得更好。然而在AlphaGo系列的例子里，我們卻發(fā)現(xiàn)：在每次更新?lián)Q代（AlphaGo, AlphaGo Zero, AlphaZero, MuZero）之后，新方法比舊方法大體上都表現(xiàn)得更優(yōu)秀，然而它們的學(xué)習(xí)和搜索都是更有針對性的。在Muzero中，原先用于搜索的基準(zhǔn)真實(shí)游戲模擬器，被換成了名字以Alpha開頭的所有前輩們。它們都有著一個(gè)學(xué)習(xí)好的深度模型，用于表示游戲狀態(tài)、游戲的動(dòng)態(tài)數(shù)據(jù)，并進(jìn)行預(yù)測。
設(shè)計(jì)一個(gè)學(xué)習(xí)好的游戲模型，所需的人力遠(yuǎn)超最初的AlphaGo。然而，Muzero卻拓展出了更通用的學(xué)習(xí)能力，在57個(gè)Atari游戲上都達(dá)到了當(dāng)前最先進(jìn)的表現(xiàn)，而之前的那些Alpha模型只學(xué)習(xí)了象棋、將棋和圍棋。Muzero在每個(gè)搜索節(jié)點(diǎn)上所用的運(yùn)算量比AlphaZero小了20%，并且也歸功于硬件設(shè)施的改進(jìn)，在訓(xùn)練過程中節(jié)省了4到5倍的TPU。
（被AlphaGo Zero打敗后）被腌制晾干的鱈魚─.─||。圖源為公共領(lǐng)域。
由Deepmind研發(fā)的AlphaGo系列游戲機(jī)器人，是深度強(qiáng)化學(xué)習(xí)發(fā)展進(jìn)程中的一個(gè)格外精妙的案例。而如果說，AlphaGo的研究隊(duì)伍能成功地在降低計(jì)算需求的同時(shí)，還持續(xù)實(shí)現(xiàn)性能和通用學(xué)習(xí)能力的提升，這不就直接反駁了“慘痛教訓(xùn)”嗎？
若是如此，它又為人們對通用智能的探索展示了什么呢？根據(jù)許多人的說法，強(qiáng)化學(xué)習(xí)是實(shí)現(xiàn)通用人工智能（AGI）的一個(gè)出色的候選方案，因?yàn)樗c人和動(dòng)物面向獎(jiǎng)勵(lì)的學(xué)習(xí)模式相近。不過，也有其他形式的智能，同樣被一部分人認(rèn)為是通用人工智能的先驅(qū)的候選者。
薩頓的文章受到新一輪的重視（最近KDNuggets甚至將它列為一篇頂級(jí)文章）的一大原因，是OpenAI萬眾矚目的GPT-3語言模型和應(yīng)用程序接口（API）的發(fā)布。GPT-3是一個(gè)參數(shù)多達(dá)1750億的Transformer，以略超10倍的數(shù)量，打破了之前由微軟的Turing-NLG保持的語言模型規(guī)模的記錄。GPT-3也比那個(gè)“危險(xiǎn)得不能發(fā)布”的GPT-2大了100倍以上。
GPT-3的發(fā)布，是OpenAI的測試版API公告中的一個(gè)核心部分。這個(gè)API基本允許實(shí)驗(yàn)人員使用GPT-3模型（但不能對參數(shù)進(jìn)行微調(diào)），并調(diào)節(jié)一些可以操縱推理過程的超參數(shù)?？梢岳斫?，那些足夠幸運(yùn)地用上了這個(gè)API的測試版用戶，抱著極大的激情打開了GPT-3——而結(jié)果也是令人印象深刻的。實(shí)驗(yàn)人員開發(fā)了基于文本的游戲、用戶界面的生成器、假博客，以及其他許多對這個(gè)大型模型的創(chuàng)新性應(yīng)用。GPT-3的表現(xiàn)比GPT-2有顯著性的提高，而其間唯一的主要區(qū)別，就是規(guī)模。
語言模型規(guī)模逐漸擴(kuò)大的趨勢，早在這些巨大的GPT出現(xiàn)之前就存在，并且也不局限于OpenAI的研究。但直到《你只需要注意力》一文引入了第一個(gè)Transformer，這一趨勢才真正開始快速發(fā)展。在不知不覺間，Transformer的參數(shù)量已經(jīng)平穩(wěn)增長到數(shù)以百億計(jì)。假如在一年多之后，就有人提出一個(gè)上萬億參數(shù)的Transformer，那我也不會(huì)感到驚訝。Transformer看起來十分適合拓展到更大的規(guī)模，而它的結(jié)構(gòu)也并不局限于面向文本的自然語言處理。Transformer已經(jīng)被應(yīng)用于強(qiáng)化學(xué)習(xí)、化學(xué)反應(yīng)預(yù)測、生成音樂和圖片等領(lǐng)域。關(guān)于Transformer模型所用的注意力機(jī)制的可視化解釋，參見此處。
按當(dāng)前的模型增長速度計(jì)算，不出數(shù)年，就會(huì)有人訓(xùn)練出一個(gè)參數(shù)量堪比一個(gè)人類大腦中的所有神經(jīng)元突觸數(shù)量（約100萬億）的模型?？苹米髌烦涑庵@樣的例子：只要具有足夠大的規(guī)模和復(fù)雜度，機(jī)器就能獲得自我意識(shí)和通用智能。這會(huì)是Transformer不斷增長的終點(diǎn)嗎？
（圖片文字：只有杰出的研究科學(xué)家才會(huì)以極端的方式行事?。?/span>
巨大的Transformer自然有著令人印象深刻的表現(xiàn)，而這一隨著規(guī)模而遞進(jìn)的發(fā)展趨勢，也符合“慘痛教訓(xùn)”所述。然而，將所有關(guān)于AI的工作都?xì)w為關(guān)于規(guī)?；墓ぷ?，是既不得體也不能令人滿意的。此外，隨之而來的能源需求也引起了人們的擔(dān)憂。云端訓(xùn)練，將許多大實(shí)驗(yàn)室的研究者與低效的訓(xùn)練過程相隔離。但在一間小辦公室或小公寓里運(yùn)行深度學(xué)習(xí)實(shí)驗(yàn)的人們，則會(huì)身陷熱浪之中。這熱浪從他們的工作臺(tái)背后不斷冒出，一直提醒著他們（這訓(xùn)練是多么消耗能量）。
Steve Jurvetson修改的理查德·薩頓的肖像
（圖片文字：結(jié)束了，學(xué)者們，我有算力?。?/span>
以超參數(shù)搜索和架構(gòu)搜索訓(xùn)練一個(gè)龐大的NLP Transformer的碳排放量，可以輕易超過一個(gè)小型研究隊(duì)伍的所有成員進(jìn)行所有其他活動(dòng)所產(chǎn)生的總排放量。
我們知道，智能體是可以在持續(xù)以20瓦特（以及額外用于機(jī)體運(yùn)轉(zhuǎn)的80瓦特）運(yùn)行的“硬件”上運(yùn)行的。如果你對此抱有懷疑，那么你應(yīng)該在自己的雙耳之間找到這一存在的證據(jù)。而與之相反的是，用于訓(xùn)練OpenAI Five的能量消耗，卻比一個(gè)人類玩家活一輩子所需的熱量還要多，足以支撐他90年的壽命。
一個(gè)細(xì)心的觀察者會(huì)指出，一個(gè)人類大腦所需的20瓦特的能量消耗，并不代表整個(gè)學(xué)習(xí)算法的總消耗。然而，它的架構(gòu)和運(yùn)行規(guī)則，也是一個(gè)運(yùn)行長達(dá)40億年的漫長的黑箱優(yōu)化過程——其名為“進(jìn)化”——所得到的結(jié)果。如果將所有人類祖先的全部能量消耗一并加總，也許人類和機(jī)器游戲玩家之間的對比可以顯得更有意義些。即便如此，在模型架構(gòu)和訓(xùn)練算法上的一切進(jìn)步，與純粹的通用隨機(jī)搜索仍然相差甚遠(yuǎn)。但在機(jī)器智能上由人類驅(qū)動(dòng)的進(jìn)步，當(dāng)然比動(dòng)物界之中智能的進(jìn)化要快得多。
一個(gè)顯然的，但也許對絕對主義者不夠友好的答案是：既不是這邊，也不是那邊。注意力機(jī)制、卷積層、乘法循環(huán)連接以及其他許多大模型中常見的機(jī)制，都是人類智慧的結(jié)晶。換句話說，它們是令人類思想推動(dòng)學(xué)習(xí)任務(wù)運(yùn)行得更好的前提，也對我們目前所見的一系列規(guī)?；倪M(jìn)步至關(guān)重要。故意忽略這些發(fā)明，一味地維護(hù)摩爾定律和“慘痛教訓(xùn)”的話，便與純粹依靠手動(dòng)編碼的專家知識(shí)一樣短視。
一個(gè)設(shè)計(jì)錯(cuò)誤的優(yōu)化過程，即使運(yùn)行到宇宙的終結(jié)，也解不出一個(gè)問題。在享受規(guī)?；鶐淼募t利時(shí)，一定要將這一課銘記于心。
（圖片文字：你低估了我的算法！）
AI研習(xí)社是AI學(xué)術(shù)青年和AI開發(fā)者技術(shù)交流的在線社區(qū)。我們與高校、學(xué)術(shù)機(jī)構(gòu)和產(chǎn)業(yè)界合作，通過提供學(xué)習(xí)、實(shí)戰(zhàn)和求職服務(wù)，為AI學(xué)術(shù)青年和開發(fā)者的交流互助和職業(yè)發(fā)展打造一站式平臺(tái)，致力成為中國最大的科技創(chuàng)新人才聚集地。
如果，你也是位熱愛分享的AI愛好者。歡迎與譯站一起，學(xué)習(xí)新知，分享成長。
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
