メインコンテンツへスキップ
見出し画像

コサインスケジュールとは

    コサインスケジュールは、学習率(Learning Rate)をコサインカーブの形でなめらかに減衰させるスケジュールです。

    PyTorchのCosineAnnealingLRに倣うと、以下のような関数で表されます。

    ηt=ηmin⁡+12(ηmax⁡−ηmin⁡)(1+cos⁡(tTπ)) \eta_t = \eta_{\min} + \frac{1}{2} (\eta_{\max} - \eta_{\min}) \left( 1 + \cos \left( \frac{t}{T} \pi \right) \right) 

    • ηt\eta_t:現在の学習率

    • ηmin⁡\eta_{\min}:最小学習率

    • ηmax⁡\eta_{\max}:最大学習率(初期値、オプティマイザに指定したもの)

    • tt:現在のステップ数

    • TT:スケジュールの総ステップ数

    1 エポックを1ステップとするならばTTは全体のエポック数で、ttは現在のエポック数です。

    バッチ単位(イテレーション単位)で制御するなら、TTは全体のイテレーション数、ttは現在のイテレーション数になります。

    イテレーション単位のほうがより滑らかに制御できますが、エポック数が十分多ければ、エポック単位でも実質的な効果の差は小さいです。

    コサインスケジュールによる学習率は以下のように滑らかに変化します。

    画像
    コサインスケジュール

    以下のプログラムでプロットしました。

    import numpy as np
    import matplotlib.pyplot as plt
    
    # パラメータ設定
    η_max = 0.02
    η_min = 0.0001
    T = 100
    
    # tを0からTまで
    t_vals = np.arange(0, T + 1)
    η_vals = η_min + 0.5 * (η_max - η_min) * (1 + np.cos(np.pi * t_vals / T))
    
    # グラフ描画
    plt.figure(figsize=(8, 5))
    plt.plot(t_vals, η_vals)
    plt.title("Cosine Annealing Learning Rate Schedule")
    plt.xlabel("Step t")
    plt.ylabel("Learning Rate η(t)")
    plt.grid(True)
    plt.show()

    学習率をコサインスケジュールで減衰させる意図は以下になります。

    • 最初は高めの学習率で大きく探索(パラメータ更新)

    • 途中から徐々に減衰し、パラメータの微調整を行う

    • 最後はゆっくり減少し、ノイズを減らして収束を促す


    細かいこと言うと…
    PyTorchのCosineAnnealingLRでは、scheduler.step() を T_max 回呼ぶとちょうど ηmin⁡\eta_{\min} に到達 するよう設計されています。

    この仕様上、ループの回数(スケジューラのstep()を呼ぶ回数)によって最終学習率の到達値が変わります。

    たとえば、for ループで、range(T_max) とした場合は以下になります。

    import torch
    from torch.optim import Adam
    from torch.optim.lr_scheduler import CosineAnnealingLR
    
    # ダミーモデル
    model = torch.nn.Linear(1, 1)
    optimizer = Adam(model.parameters(), lr=0.02)
    
    # CosineAnnealingLRスケジューラを設定
    T_max = 5
    eta_min = 0.0001
    scheduler = CosineAnnealingLR(optimizer, T_max=T_max, eta_min=eta_min)
    
    # range(T_max)の場合
    print(f"=== range({T_max}) の場合 ===")
    for step in range(T_max):
        print(f"Step {step}: LR = {scheduler.get_last_lr()[0]:.7f}")
    
        optimizer.step() # 現在の学習率でパラメータ更新
        scheduler.step() # スケジューラのステップを進め、次の学習率を計算

    出力:

    === range(5) の場合 ===
    Step 0: LR = 0.0200000
    Step 1: LR = 0.0180997
    Step 2: LR = 0.0131247
    Step 3: LR = 0.0069753
    Step 4: LR = 0.0020003

    最後のステップによる学習率は使われないため eta_min には届きません。

    なお、for ループで、range(T_max + 1) とした場合は以下になります。

    import torch
    from torch.optim import Adam
    from torch.optim.lr_scheduler import CosineAnnealingLR
    
    # ダミーモデル
    model = torch.nn.Linear(1, 1)
    optimizer = Adam(model.parameters(), lr=0.02)
    
    # CosineAnnealingLRスケジューラを設定
    T_max = 5
    eta_min = 0.0001
    scheduler = CosineAnnealingLR(optimizer, T_max=T_max, eta_min=eta_min)
    
    # range(T_max+1)の場合
    print(f"=== range({T_max+1}) の場合 ===")
    for step in range(T_max + 1):
        print(f"LR = {scheduler.get_last_lr()[0]:.7f}")
    
        optimizer.step() # 現在の学習率でパラメータ更新
        scheduler.step() # スケジューラのステップを進め、次の学習率を計算

    出力:

    === range(6) の場合 ===
    LR = 0.0200000
    LR = 0.0180997
    LR = 0.0131247
    LR = 0.0069753
    LR = 0.0020003
    LR = 0.0001000

    ただし、コードをレビューする側からすると 「なぜ T_max + 1 にするのか」 という意図が伝わりにくいため、コメントを残しておくと親切かもしれません。

    とは言うものの、多くの場合は for step in range(T_max) と書き、最小学習率には正確には到達しないことを暗黙に許容するケースが多いようです。

    どちらの書き方でも、差は非常に小さい場合が多く、最終的な学習結果に大きな違いは出ないことがほとんだと考えられます。

    なお、PyTorchのCosineAnnealingLRではデフォルトがηmin⁡=0\eta_{\min} = 0です。そのため、スケジューラーの step() がT_max 回ちょうど呼ぶと、学習率はゼロに達します。

    逆に言うと、for step in range(T_max) と書く場合は step() を T_max−1 回しか呼ばないため、学習率はゼロには達しません。つまり、わずかに学習率を残したまま微調整されます。そのため、この書き方が暗黙的に使われることが多いのかもしれません。

    数値的にゼロに近くなったり、ゼロになってしまう可能性もあるので、その場合は最小学習率を明示的に指定しておきつつ、それでも for step in range(T_max) と書くことでコードをシンプルに保つというスタイルでも、実際にはほとんど問題になることはないでしょう。

     
     
    「わかりやすく、具体的に」AIとサイエンスの情報を発信中

    あなたへのおすすめ