0
| 本文作者： 我在思考中 | 2021-11-02 09:59 |
現(xiàn)在小學(xué)數(shù)學(xué)題有多難？小學(xué)生拍圖上傳作題App找不到現(xiàn)成答案，稍微變換下題設(shè)語(yǔ)句，就要買(mǎi)會(huì)員換人工答題。
一時(shí)間小學(xué)生紛紛成了“氪金玩家”。
即便是題目換湯不換藥，講題APP還是罷了工。如果有一款能聽(tīng)懂大白話(huà)的作題軟件能有多好！
近日，OpenAI訓(xùn)練了一個(gè)新系統(tǒng)，可解決小學(xué)數(shù)學(xué)題，稱(chēng)其提升了GPT-3的邏輯推理問(wèn)題。
自去年6月11日以來(lái)，OpenAI公布GPT-3語(yǔ)言模型，GPT-3成為OpenAI的旗艦語(yǔ)言生成算法，參數(shù)規(guī)模達(dá)1750億，在文本生成上與人類(lèi)寫(xiě)作相媲美。
三個(gè)月后，OpenAI 又推出用于數(shù)學(xué)問(wèn)題的 GPT-f，利用基于 Transformer 語(yǔ)言模型的生成能力進(jìn)行自動(dòng)定理證明。
時(shí)至今日，GPT-3的能力依據(jù)被冠以“大力出奇跡”，光憑解答小學(xué)程度的幾道數(shù)學(xué)題，就能蓋過(guò)對(duì)OpenAI的質(zhì)疑聲嗎？
論文地址：https://arxiv.org/pdf/2110.14168.pdf
數(shù)據(jù)集地址：https://github.com/openai/grade-school-math
其中涉及一大難點(diǎn)：GPT-3真的懂邏輯嗎？即便是數(shù)學(xué)語(yǔ)言不同于大白話(huà)，但依舊涉及很多邏輯關(guān)系，一步錯(cuò)步步錯(cuò)。
為此，OpenAI 基于四個(gè)設(shè)計(jì)原則創(chuàng)建了 GSM8K 數(shù)據(jù)集供GPT-3反復(fù)訓(xùn)練，即數(shù)據(jù)集為高質(zhì)量、高多樣性、中等難度和自然語(yǔ)言的答題形式。
GSM8K 數(shù)據(jù)集由 8.5K 個(gè)高質(zhì)量小學(xué)數(shù)學(xué)應(yīng)用題組成，每個(gè)問(wèn)題需要 2 到 8 步解決，涉及到加減乘除整合運(yùn)算，難度近乎9-12歲的小學(xué)數(shù)學(xué)題。
結(jié)果發(fā)現(xiàn)，60億參數(shù)的GPT-3采用“新方法”，準(zhǔn)確率直接翻倍！甚至追平了擁有1750億參數(shù)，采用微調(diào)方法的GPT-3模型。
新方法挑戰(zhàn)比自己高30倍的大參數(shù)模型，力證參數(shù)并非越大越好，這一新方法是什么？
像GPT-3這樣的大型語(yǔ)言模型有許多驚人的技能，包括模仿多種寫(xiě)作風(fēng)格，自動(dòng)編程、自然對(duì)話(huà)、語(yǔ)義搜索等。然而，它們很難完成需要精確的多步驟推理的任務(wù)，比如解決小學(xué)數(shù)學(xué)應(yīng)用題。
「小明每半小時(shí)喝一瓶水。一個(gè)普通的數(shù)獨(dú)難題要花他45分鐘。一個(gè)極難的數(shù)獨(dú)需要4倍的時(shí)間。做一道極難的數(shù)獨(dú)的時(shí)間他喝了多少瓶水？」
在這樣的數(shù)學(xué)題中，GPT-3要匹配人類(lèi)在復(fù)雜邏輯領(lǐng)域中的表現(xiàn)，一味提高參數(shù)，是解決辦法的長(zhǎng)遠(yuǎn)之策嗎？
并不！OpenAI在新方法中提到，為什么不讓模型學(xué)會(huì)識(shí)別自己的錯(cuò)誤呢？從許多候選的解決方案中選擇出最佳方案！
為此，OpenAI訓(xùn)練了驗(yàn)證器（verifier），來(lái)評(píng)估所提出的解決方案是否正確。可比通過(guò)更新模型參數(shù)，最小化所有訓(xùn)練token的交叉熵?fù)p失的方法要多一個(gè)思路。
增加一個(gè)“驗(yàn)證”模塊，通過(guò)反復(fù)試錯(cuò)，學(xué)習(xí)，再計(jì)算，原先微調(diào)無(wú)法解決的GPT-3邏輯推理能力，在新方法中得到進(jìn)步。
對(duì)于兩種思路，OpenAI通過(guò)新的GSM8K數(shù)據(jù)集來(lái)測(cè)試兩種方法：
高質(zhì)量：GSM8K中的問(wèn)題都是人工設(shè)計(jì)的，避免了錯(cuò)誤問(wèn)題的出現(xiàn)。
高多樣性：GSM8K中的問(wèn)題都被設(shè)計(jì)得相對(duì)獨(dú)特，避免了來(lái)自相同語(yǔ)言模板或僅在表面細(xì)節(jié)上有差異的問(wèn)題。
中等難度：GSM8K中的問(wèn)題分布對(duì)大型SOTA語(yǔ)言模型是有挑戰(zhàn)的，但又不是完全難以解決的。這些問(wèn)題不需要超出早期代數(shù)水平的概念，而且絕大多數(shù)問(wèn)題都可以在不明確定義變量的情況下得到解決。
自然語(yǔ)言解決方案：GSM8K中的解決方案是以自然語(yǔ)言而不是純數(shù)學(xué)表達(dá)式的形式編寫(xiě)的。模型由此生成的解決方案也可以更容易被人理解。此外，OpenAI也期望它能闡明大型語(yǔ)言模型內(nèi)部獨(dú)白的特性。
在GSM8K數(shù)據(jù)集上，OpenAI測(cè)試了新方法驗(yàn)證（verification）和基線(xiàn)方法微調(diào)（fine-tuning）生成的答案。
即4種不同的解決方案：6B微調(diào)、6B 驗(yàn)證、175B 微調(diào)和 175B 驗(yàn)證。
在性能展示中，OpenAI提供了十個(gè)數(shù)學(xué)題實(shí)例，其中一個(gè)是的解決方案如下：
小明種了 5 棵樹(shù)。他每年從每棵樹(shù)上收集 6 個(gè)檸檬。他十年能得到多少檸檬？
很明顯，驗(yàn)證方法（verification）比基線(xiàn)方法微調(diào)（fine-tuning）在回答數(shù)學(xué)應(yīng)用題上有了很大的提升。
在完整的訓(xùn)練集上，采用「驗(yàn)證」方法的60億參數(shù)模型，會(huì)略微優(yōu)于采用「微調(diào)」的1750億參數(shù)模型！
但大模型也不是一無(wú)是處，采用「驗(yàn)證」的1750億參數(shù)模型還是比采用「驗(yàn)證」方法的60億參數(shù)模型學(xué)習(xí)速度更快，只需要更少的訓(xùn)練問(wèn)題，就能超過(guò)微調(diào)基線(xiàn)。
OpenAI發(fā)現(xiàn)，只要數(shù)據(jù)集足夠大，大模型就能從「驗(yàn)證」中獲得強(qiáng)大的性能提升。
但是，對(duì)于太小的數(shù)據(jù)集，驗(yàn)證器會(huì)通過(guò)記憶訓(xùn)練集中的答案而過(guò)度擬合，而不是學(xué)習(xí)基本的數(shù)學(xué)推理這種更有用的屬性。
所以，根據(jù)目前的結(jié)果進(jìn)行推斷，「驗(yàn)證」似乎可以更有效地?cái)U(kuò)展到額外的數(shù)據(jù)。
大模型畢竟有大模型的優(yōu)勢(shì)，如果之后能夠用大模型+驗(yàn)證的方式，將會(huì)使得模型性能再上一個(gè)level !
驗(yàn)證器訓(xùn)練時(shí)，只訓(xùn)練解決方案是否達(dá)到正確的最終答案，將其標(biāo)記為正確或不正確。但是在實(shí)踐中，一些解決方案會(huì)使用有缺陷的推理得出正確的最終答案，從而導(dǎo)致誤報(bào)。
現(xiàn)在的驗(yàn)證器具體訓(xùn)練方法分為三步走:
先把模型的「生成器」在訓(xùn)練集上進(jìn)行2個(gè)epoch的微調(diào)。
從生成器中為每個(gè)訓(xùn)練問(wèn)題抽取100個(gè)解答，并將每個(gè)解答標(biāo)記為正確或不正確。
在數(shù)據(jù)集上，驗(yàn)證器再訓(xùn)練單個(gè)epoch。
生成器只訓(xùn)練2個(gè)epoch是因?yàn)?個(gè)epoch的訓(xùn)練就足夠?qū)W習(xí)這個(gè)領(lǐng)域的基本技能了。如果采用更長(zhǎng)時(shí)間的訓(xùn)練，生成的解決方案會(huì)過(guò)度擬合。
測(cè)試時(shí)，解決一個(gè)新問(wèn)題，首先要生成100個(gè)候選解決方案，然后由驗(yàn)證器打分，排名最高的解決方案會(huì)被最后選中。
訓(xùn)練驗(yàn)證器既可以在全部的生成解決方案里進(jìn)行單個(gè)標(biāo)量預(yù)測(cè)（single scalar prediction），也可以在解決方案的每個(gè) token 后進(jìn)行單個(gè)標(biāo)量預(yù)測(cè)，OpenAI 選擇后者，即訓(xùn)練驗(yàn)證器在每個(gè) token 之后進(jìn)行預(yù)測(cè)。
如下圖所示，它們分別標(biāo)記為“解決方案級(jí)別”和“token 級(jí)別”。
在b圖中，通過(guò)消融實(shí)驗(yàn)驗(yàn)證訓(xùn)練驗(yàn)證器中使用目標(biāo)（objective）的作用， OpenAI 將使用兩個(gè)目標(biāo)與僅使用驗(yàn)證目標(biāo)進(jìn)行比較。
在c圖中，OpenAI 對(duì)生成器和驗(yàn)證器的大小進(jìn)行了實(shí)驗(yàn)，研究發(fā)現(xiàn)使用大的生成器、小的驗(yàn)證器組合性能顯著優(yōu)于小的生成器、大的驗(yàn)證器組合。
通過(guò)OpenAI所展現(xiàn)出的10個(gè)數(shù)學(xué)實(shí)例是看出，使用驗(yàn)證方法比單純擴(kuò)大參數(shù)要更加智能，但缺點(diǎn)是并不穩(wěn)定。比如在另一個(gè)問(wèn)題實(shí)例中，僅有175B驗(yàn)證模型輸出正確結(jié)果：小明是一所私立學(xué)校的院長(zhǎng)，他有一個(gè)班。小紅是一所公立學(xué)校的院長(zhǎng)，他有兩個(gè)班，每個(gè)班的人數(shù)是小明班級(jí)人數(shù)120人的1/8。問(wèn)兩所學(xué)校的總?cè)藬?shù)是多少?
AI發(fā)展道阻且長(zhǎng)，目前絕大多數(shù)的機(jī)器學(xué)習(xí)仍依賴(lài)于數(shù)據(jù)堆砌，缺乏根本性的技術(shù)突破，存在一定的發(fā)展瓶頸。Google 工程總監(jiān) Ray Kurzweil 曾表示，直到 2029 年，人類(lèi)才有超過(guò) 50% 的概率打造出 AGI 系統(tǒng)，還有一部分專(zhuān)家表示至少要到2099年或2200年。
現(xiàn)下，通過(guò)在一些簡(jiǎn)單的領(lǐng)域試驗(yàn)新路徑，識(shí)別和避免機(jī)器學(xué)習(xí)的錯(cuò)誤是推動(dòng)模型發(fā)展的關(guān)鍵方法，比如這種簡(jiǎn)單的小學(xué)數(shù)學(xué)題。最終當(dāng)我們?cè)噲D將模型應(yīng)用到邏輯上更復(fù)雜的領(lǐng)域時(shí)，那些不被了解的黑箱子將變得越來(lái)越透明。
雷鋒網(wǎng)
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
