雷鋒網(wǎng)消息，在10月10日-11日在加拿大蒙特利爾召開的Rework Deep Learning Summit會議上，百度高級研究員Greg Diamos介紹了由百度硅谷AI實驗室（SVAIL）與NVIDIA合作的最新成果：一種名為“混合精度訓(xùn)練”（Mixed Precision Training，簡稱MPT）的深度學(xué)習(xí)模型。

Greg Diamos在Rework Deep Learning Summit上演講中。

據(jù)了解，大多數(shù)的深度學(xué)習(xí)模型使用的是32位單精度浮點數(shù)（FP32）來進(jìn)行訓(xùn)練，而混合精度訓(xùn)練的方法則通過16位浮點數(shù)（FP16）進(jìn)行深度學(xué)習(xí)模型訓(xùn)練，從而減少了訓(xùn)練深度學(xué)習(xí)模型所需的內(nèi)存，同時由于FP16的運算比FP32運算更快，從而也進(jìn)一步提高了硬件效率。

通過用半精度運算替代全精度運算來提高效率，這一技術(shù)原理聽起來很簡單明了，但將其付諸實施并不像聽起來那么簡單。此前也有團(tuán)隊嘗試過使用更低精度進(jìn)行混合計算（如二進(jìn)制，甚至4-bit），但問題在于這往往不可避免地造成結(jié)果的準(zhǔn)確性和在主要網(wǎng)絡(luò)變換上的損失，而百度的MPT模型不僅解決了這一問題，更重要的是MPT無需改變網(wǎng)絡(luò)超參數(shù)（雷鋒網(wǎng)注：超參數(shù)指Bayes統(tǒng)計理論先驗分布的參數(shù)， 它不像其他的參數(shù)可以用統(tǒng)計量估計），并保持與單精度相同的準(zhǔn)確性。

在百度研究院博客中，百度進(jìn)一步解釋了這一模型的原理：

深度學(xué)習(xí)模型由各種層（Layer）組成，包括完全連接的層，卷積層和反復(fù)層。層與層之間的轉(zhuǎn)換可以通過通用矩陣乘法（GEMM）來實現(xiàn)，而對深度學(xué)習(xí)訓(xùn)練的過程其實很大程度是GEMM計算的過程。

如下圖所示，GEMM操作可以分解為若干個幾個乘法運算和后續(xù)的加法運算。

當(dāng)使用FP16代表神經(jīng)網(wǎng)絡(luò)中的數(shù)據(jù)時，GEMM操作的輸入矩陣由16位數(shù)組成。我們需要可以使用16位計算執(zhí)行乘法的硬件，但是需要使用32位計算和存儲來執(zhí)行加法。使用少于32位的加法操作訓(xùn)練大型深度學(xué)習(xí)模型會非常困難。

為此，百度不僅與NVIDIA共同解決了硬件支持的問題，雙方還對訓(xùn)練流程進(jìn)行了一些修改，模型中的輸入，權(quán)重，梯度和激活以FP16格式表示。但是如之前介紹，與FP32數(shù)字相比，半精度數(shù)字的范圍有限，只是通過簡單地更改存儲格式，某些模型無法達(dá)到與單精度相同的精度。為此，NVIDIA和百度采用了兩種關(guān)鍵技術(shù)：

第一項關(guān)鍵技術(shù)被稱為“混合精密鑰匙”（mixed precision key）。如下圖所示，在MT模型中仍然保留FP32格式的主副本，將FP16用于正向和反向傳播，優(yōu)化器中的梯度更新將被添加到主FP32副本當(dāng)中，該FP32副本被簡化為一個FP16副本在訓(xùn)練期間使用，這個過程在每次訓(xùn)練迭代中重復(fù)，直至模型收斂且足以恢復(fù)損失的精度，從而達(dá)到較低內(nèi)存使用、內(nèi)存帶寬壓力更低和更快速執(zhí)行的優(yōu)點。

深度學(xué)習(xí)模型的混合精度訓(xùn)練示意圖

第二種關(guān)鍵技術(shù)則是“損耗縮放”（loss-scaling）。該技術(shù)可以夠恢復(fù)一些小數(shù)值的梯度。在訓(xùn)練期間，一些權(quán)重梯度具有非常小的指數(shù)，其FP16格式可能會變?yōu)榱恪榱丝朔@個問題，我們使用縮放因子在反向傳播開始時縮放損失，通過連鎖規(guī)則，梯度也逐漸擴大，并在FP16中可表示。在將其更新應(yīng)用于權(quán)重之前，梯度確實需要縮??；而為了恢復(fù)某些型號的精度損失，必須進(jìn)行損耗調(diào)整。關(guān)于這兩種技術(shù)的更多細(xì)節(jié)可以在我們的論文中找到。

百度已使用這種方法使用FP16訓(xùn)練其DeepSpeech 2模型。結(jié)果表明，對于英文和普通話模型和數(shù)據(jù)集和使用相同的超參數(shù)、模型架構(gòu)進(jìn)行混合精度訓(xùn)練實驗，可以得到到FP32訓(xùn)練的精度。

同時，使用FP16訓(xùn)練減少了深度學(xué)習(xí)模型的內(nèi)存需求，使得百度能夠使用一半的處理器來訓(xùn)練這些模型，從而有效地加倍了集群大小。此外，F(xiàn)P16算術(shù)的峰值性能（如上所述）通常高于單精度計算。

雷鋒網(wǎng)發(fā)現(xiàn)，NVIDIA博客也公布了應(yīng)用混合精度訓(xùn)練的ImageNet數(shù)據(jù)集上訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)的結(jié)果。如果讀者希望了解有關(guān)混合精度培訓(xùn)和全套結(jié)果和實驗的更多詳細(xì)信息，可點此參閱ArXiv上的論文。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。