雷鋒網(wǎng)按：本文作者Sherlock，本文首發(fā)于作者的知乎專欄《深度煉丹》， 雷鋒網(wǎng)獲其授權(quán)發(fā)布。

經(jīng)過了大量煉丹的同學(xué)都知道，超參數(shù)是一個(gè)非常玄乎的東西，比如batch size，學(xué)習(xí)率等，這些東西的設(shè)定并沒有什么規(guī)律和原因，論文中設(shè)定的超參數(shù)一般都是靠經(jīng)驗(yàn)決定的。但是超參數(shù)往往又特別重要，比如學(xué)習(xí)率，如果設(shè)置了一個(gè)太大的學(xué)習(xí)率，那么loss就爆了，設(shè)置的學(xué)習(xí)率太小，需要等待的時(shí)間就特別長(zhǎng)，那么我們是否有一個(gè)科學(xué)的辦法來決定我們的初始學(xué)習(xí)率呢？

在這篇文章中，我會(huì)講一種非常簡(jiǎn)單卻有效的方法來確定合理的初始學(xué)習(xí)率。

學(xué)習(xí)率的重要性

目前深度學(xué)習(xí)使用的都是非常簡(jiǎn)單的一階收斂算法，梯度下降法，不管有多少自適應(yīng)的優(yōu)化算法，本質(zhì)上都是對(duì)梯度下降法的各種變形，所以初始學(xué)習(xí)率對(duì)深層網(wǎng)絡(luò)的收斂起著決定性的作用，下面就是梯度下降法的公式

這里就是學(xué)習(xí)率，如果學(xué)習(xí)率太小，會(huì)導(dǎo)致網(wǎng)絡(luò)loss下降非常慢，如果學(xué)習(xí)率太大，那么參數(shù)更新的幅度就非常大，就會(huì)導(dǎo)致網(wǎng)絡(luò)收斂到局部最優(yōu)點(diǎn)，或者loss直接開始增加，如下圖所示。

學(xué)習(xí)率的選擇策略在網(wǎng)絡(luò)的訓(xùn)練過程中是不斷在變化的，在剛開始的時(shí)候，參數(shù)比較隨機(jī)，所以我們應(yīng)該選擇相對(duì)較大的學(xué)習(xí)率，這樣loss下降更快；當(dāng)訓(xùn)練一段時(shí)間之后，參數(shù)的更新就應(yīng)該有更小的幅度，所以學(xué)習(xí)率一般會(huì)做衰減，衰減的方式也非常多，比如到一定的步數(shù)將學(xué)習(xí)率乘上0.1，也有指數(shù)衰減等。

這里我們關(guān)心的一個(gè)問題是初始學(xué)習(xí)率如何確定，當(dāng)然有很多辦法，一個(gè)比較笨的方法就是從0.0001開始嘗試，然后用0.001，每個(gè)量級(jí)的學(xué)習(xí)率都去跑一下網(wǎng)絡(luò)，然后觀察一下loss的情況，選擇一個(gè)相對(duì)合理的學(xué)習(xí)率，但是這種方法太耗時(shí)間了，能不能有一個(gè)更簡(jiǎn)單有效的辦法呢？

一個(gè)簡(jiǎn)單的辦法

Leslie N. Smith 在2015年的一篇論文“Cyclical Learning Rates for Training Neural Networks”中的3.3節(jié)描述了一個(gè)非常棒的方法來找初始學(xué)習(xí)率，同時(shí)推薦大家去看看這篇論文，有一些非常啟發(fā)性的學(xué)習(xí)率設(shè)置想法。

這個(gè)方法在論文中是用來估計(jì)網(wǎng)絡(luò)允許的最小學(xué)習(xí)率和最大學(xué)習(xí)率，我們也可以用來找我們的最優(yōu)初始學(xué)習(xí)率，方法非常簡(jiǎn)單。首先我們?cè)O(shè)置一個(gè)非常小的初始學(xué)習(xí)率，比如1e-5，然后在每個(gè)batch之后都更新網(wǎng)絡(luò)，同時(shí)增加學(xué)習(xí)率，統(tǒng)計(jì)每個(gè)batch計(jì)算出的loss。最后我們可以描繪出學(xué)習(xí)的變化曲線和loss的變化曲線，從中就能夠發(fā)現(xiàn)最好的學(xué)習(xí)率。

下面就是隨著迭代次數(shù)的增加，學(xué)習(xí)率不斷增加的曲線，以及不同的學(xué)習(xí)率對(duì)應(yīng)的loss的曲線。

從上面的圖片可以看到，隨著學(xué)習(xí)率由小不斷變大的過程，網(wǎng)絡(luò)的loss也會(huì)從一個(gè)相對(duì)大的位置變到一個(gè)較小的位置，同時(shí)又會(huì)增大，這也就對(duì)應(yīng)于我們說的學(xué)習(xí)率太小，loss下降太慢，學(xué)習(xí)率太大，loss有可能反而增大的情況。從上面的圖中我們就能夠找到一個(gè)相對(duì)合理的初始學(xué)習(xí)率，0.1。

之所以上面的方法可以work，因?yàn)樾〉膶W(xué)習(xí)率對(duì)參數(shù)更新的影響相對(duì)于大的學(xué)習(xí)率來講是非常小的，比如第一次迭代的時(shí)候?qū)W習(xí)率是1e-5，參數(shù)進(jìn)行了更新，然后進(jìn)入第二次迭代，學(xué)習(xí)率變成了5e-5，參數(shù)又進(jìn)行了更新，那么這一次參數(shù)的更新可以看作是在最原始的參數(shù)上進(jìn)行的，而之后的學(xué)習(xí)率更大，參數(shù)的更新幅度相對(duì)于前面來講會(huì)更大，所以都可以看作是在原始的參數(shù)上進(jìn)行更新的。正是因?yàn)檫@個(gè)原因，學(xué)習(xí)率設(shè)置要從小變到大，而如果學(xué)習(xí)率設(shè)置反過來，從大變到小，那么loss曲線就完全沒有意義了。

實(shí)現(xiàn)

上面已經(jīng)說明了算法的思想，說白了其實(shí)是非常簡(jiǎn)單的，就是不斷地迭代，每次迭代學(xué)習(xí)率都不同，同時(shí)記錄下來所有的loss，繪制成曲線就可以了。下面就是使用PyTorch實(shí)現(xiàn)的代碼，因?yàn)樵诰W(wǎng)絡(luò)的迭代過程中學(xué)習(xí)率會(huì)不斷地變化，而PyTorch的optim里面并沒有把learning rate的接口暴露出來，導(dǎo)致顯示修改學(xué)習(xí)率非常麻煩，所以我重新寫了一個(gè)更加高層的包mxtorch，借鑒了gluon的一些優(yōu)點(diǎn)，在定義層的時(shí)候暴露初始化方法，支持tensorboard，同時(shí)增加了大量的model zoo，包括inceptionresnetv2，resnext等等，提供預(yù)訓(xùn)練權(quán)重，model zoo參考于Cadene的repo。目前這個(gè)repo剛剛開始，歡迎有興趣的小伙伴加入我。

下面就是部分代碼，近期會(huì)把找學(xué)習(xí)率的代碼合并到mxtorch中。這里使用的數(shù)據(jù)集是kaggle上的dog breed，使用預(yù)訓(xùn)練的resnet50，ScheduledOptim的源碼點(diǎn)這里。

criterion = torch.nn.CrossEntropyLoss()net = model_zoo.resnet50(pretrained=True)net.fc = nn.Linear(2048, 120)with torch.cuda.device(0):
  net = net.cuda()basic_optim = torch.optim.SGD(net.parameters(), lr=1e-5)optimizer = ScheduledOptim(basic_optim)lr_mult = (1 / 1e-5) ** (1 / 100)lr = []losses = []best_loss = 1e9for data, label in train_data:
   with torch.cuda.device(0):
       data = Variable(data.cuda())
       label = Variable(label.cuda())
   # forward
   out = net(data)
   loss = criterion(out, label)
   # backward
   optimizer.zero_grad()
   loss.backward()
   optimizer.step()
   lr.append(optimizer.learning_rate)
   losses.append(loss.data[0])
   optimizer.set_learning_rate(optimizer.learning_rate * lr_mult)
   if loss.data[0] < best_loss:
       best_loss = loss.data[0]
   if loss.data[0] > 4 * best_loss or optimizer.learning_rate > 1.:
       breakplt.figure()plt.xticks(np.log([1e-5, 1e-4, 1e-3, 1e-2, 1e-1, 1]), (1e-5, 1e-4, 1e-3, 1e-2, 1e-1, 1))plt.xlabel('learning rate')plt.ylabel('loss')plt.plot(np.log(lr), losses)plt.show()plt.figure()plt.xlabel('num iterations')plt.ylabel('learning rate')plt.plot(lr)

one more thing

通過上面的例子我們能夠有一個(gè)非常有效的方法尋找初始學(xué)習(xí)率，同時(shí)在我們的認(rèn)知中，學(xué)習(xí)率的策略都是不斷地做decay，而上面的論文別出心裁，提出了一種循環(huán)變化學(xué)習(xí)率的思想，能夠更快的達(dá)到最優(yōu)解，非常具有啟發(fā)性，推薦大家去閱讀閱讀。

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。