
コサインスケジュールとは
コサインスケジュールは、学習率(Learning Rate)をコサインカーブの形でなめらかに減衰させるスケジュールです。
PyTorchのCosineAnnealingLRに倣うと、以下のような関数で表されます。
:現在の学習率
:最小学習率
:最大学習率(初期値、オプティマイザに指定したもの)
:現在のステップ数
:スケジュールの総ステップ数
1 エポックを1ステップとするならばは全体のエポック数で、は現在のエポック数です。
バッチ単位(イテレーション単位)で制御するなら、は全体のイテレーション数、は現在のイテレーション数になります。
イテレーション単位のほうがより滑らかに制御できますが、エポック数が十分多ければ、エポック単位でも実質的な効果の差は小さいです。
コサインスケジュールによる学習率は以下のように滑らかに変化します。

以下のプログラムでプロットしました。
import numpy as np
import matplotlib.pyplot as plt
# パラメータ設定
η_max = 0.02
η_min = 0.0001
T = 100
# tを0からTまで
t_vals = np.arange(0, T + 1)
η_vals = η_min + 0.5 * (η_max - η_min) * (1 + np.cos(np.pi * t_vals / T))
# グラフ描画
plt.figure(figsize=(8, 5))
plt.plot(t_vals, η_vals)
plt.title("Cosine Annealing Learning Rate Schedule")
plt.xlabel("Step t")
plt.ylabel("Learning Rate η(t)")
plt.grid(True)
plt.show()学習率をコサインスケジュールで減衰させる意図は以下になります。
最初は高めの学習率で大きく探索(パラメータ更新)
途中から徐々に減衰し、パラメータの微調整を行う
最後はゆっくり減少し、ノイズを減らして収束を促す
細かいこと言うと…
PyTorchのCosineAnnealingLRでは、scheduler.step() を T_max 回呼ぶとちょうど に到達 するよう設計されています。
この仕様上、ループの回数(スケジューラのstep()を呼ぶ回数)によって最終学習率の到達値が変わります。
たとえば、for ループで、range(T_max) とした場合は以下になります。
import torch
from torch.optim import Adam
from torch.optim.lr_scheduler import CosineAnnealingLR
# ダミーモデル
model = torch.nn.Linear(1, 1)
optimizer = Adam(model.parameters(), lr=0.02)
# CosineAnnealingLRスケジューラを設定
T_max = 5
eta_min = 0.0001
scheduler = CosineAnnealingLR(optimizer, T_max=T_max, eta_min=eta_min)
# range(T_max)の場合
print(f"=== range({T_max}) の場合 ===")
for step in range(T_max):
print(f"Step {step}: LR = {scheduler.get_last_lr()[0]:.7f}")
optimizer.step() # 現在の学習率でパラメータ更新
scheduler.step() # スケジューラのステップを進め、次の学習率を計算出力:
=== range(5) の場合 ===
Step 0: LR = 0.0200000
Step 1: LR = 0.0180997
Step 2: LR = 0.0131247
Step 3: LR = 0.0069753
Step 4: LR = 0.0020003最後のステップによる学習率は使われないため eta_min には届きません。
なお、for ループで、range(T_max + 1) とした場合は以下になります。
import torch
from torch.optim import Adam
from torch.optim.lr_scheduler import CosineAnnealingLR
# ダミーモデル
model = torch.nn.Linear(1, 1)
optimizer = Adam(model.parameters(), lr=0.02)
# CosineAnnealingLRスケジューラを設定
T_max = 5
eta_min = 0.0001
scheduler = CosineAnnealingLR(optimizer, T_max=T_max, eta_min=eta_min)
# range(T_max+1)の場合
print(f"=== range({T_max+1}) の場合 ===")
for step in range(T_max + 1):
print(f"LR = {scheduler.get_last_lr()[0]:.7f}")
optimizer.step() # 現在の学習率でパラメータ更新
scheduler.step() # スケジューラのステップを進め、次の学習率を計算出力:
=== range(6) の場合 ===
LR = 0.0200000
LR = 0.0180997
LR = 0.0131247
LR = 0.0069753
LR = 0.0020003
LR = 0.0001000ただし、コードをレビューする側からすると 「なぜ T_max + 1 にするのか」 という意図が伝わりにくいため、コメントを残しておくと親切かもしれません。
とは言うものの、多くの場合は for step in range(T_max) と書き、最小学習率には正確には到達しないことを暗黙に許容するケースが多いようです。
どちらの書き方でも、差は非常に小さい場合が多く、最終的な学習結果に大きな違いは出ないことがほとんだと考えられます。
なお、PyTorchのCosineAnnealingLRではデフォルトがです。そのため、スケジューラーの step() がT_max 回ちょうど呼ぶと、学習率はゼロに達します。
逆に言うと、for step in range(T_max) と書く場合は step() を T_max−1 回しか呼ばないため、学習率はゼロには達しません。つまり、わずかに学習率を残したまま微調整されます。そのため、この書き方が暗黙的に使われることが多いのかもしれません。
数値的にゼロに近くなったり、ゼロになってしまう可能性もあるので、その場合は最小学習率を明示的に指定しておきつつ、それでも for step in range(T_max) と書くことでコードをシンプルに保つというスタイルでも、実際にはほとんど問題になることはないでしょう。