
3分で学ぶPyTorch|torch.nn.ReLU
公式Docs:https://pytorch.org/docs/stable/generated/torch.nn.ReLU.html
対応確認バージョン:PyTorch 2.11(公式Docsベース)
① 何をするものか
torch.nn.ReLU は、活性化関数の定番クラスです。入力が0以下なら0に、0より大きければそのまま出力します(max(0, x))。非線形性を加えることで、線形変換だけでは学習できない複雑なパターンをモデルが学べるようになります。
② いつ使うのか
MLP・CNN など、各層の後に非線形性を加えるとき
隠れ層の活性化関数として(最終層には通常使わない)
シンプルで計算が速い活性化関数が欲しいとき
③ どう使うのか(最小コード)
import torch
import torch.nn as nn
# ✅ クラスとして使う(Sequential / Module の中)
relu = nn.ReLU()
x = torch.tensor([-2.0, -1.0, 0.0, 1.0, 2.0])
y = relu(x)
print(y) # tensor([0., 0., 0., 1., 2.])
# ✅ 関数として使う(forward の中で手軽に)
import torch.nn.functional as F
y = F.relu(x)
print(y) # tensor([0., 0., 0., 1., 2.])
# MLP での使い方
model = nn.Sequential(
nn.Linear(4, 16),
nn.ReLU(), # ← 隠れ層の後
nn.Linear(16, 8),
nn.ReLU(), # ← 隠れ層の後
nn.Linear(8, 2) # 最終層には使わない
)入力 x: [-2, -1, 0, 1, 2]
出力 y: [ 0, 0, 0, 1, 2] ← 負の値が0になる
shapeは変わらない④ つまずきポイント
1. 最終層(出力層)には使わない
ReLUは出力を0以上に制限してしまいます。分類タスクの最終層は nn.Linear のまま、回帰タスクでも通常は使いません。
2. nn.ReLU() vs F.relu() の使い分け
nn.ReLU():Sequential に並べたり、self.relu として持てる
F.relu(x):forward() の中でその場で使う(インスタンス不要)
どちらを使っても結果は同じです。個人的な好みやコードスタイルで選びましょう。
3. 「死んだReLU」問題
学習が進むとReLUのニューロンが常に0を出力し続ける「Dying ReLU」が起きることがあります。対策として LeakyReLU(負の値でも小さな傾きを持つ)を試してみましょう。
4. Transformer系には GELU が主流
BERTやViTなどのモデルでは nn.GELU() が標準です。MLP・CNNでは今もReLUが現役です。
# Transformer系で使われる活性化関数
activation = nn.GELU()⑤ よくあるエラーと対策
エラー例
RuntimeError: Expected all tensors to be on the same device原因:
ReLU自体はデバイスに関係ないが、入力テンソルが GPU/CPU で混在している。
対策:
入力テンソルのデバイスを揃える。x = x.to(device)
エラー例
(ReLU単体でエラーは少ないが)学習が進まない・損失が下がらない
原因:
学習率が高すぎて「死んだReLU」が大量発生している。
対策:
学習率を下げるか、nn.LeakyReLU(negative_slope=0.01) に変える。
⑥ 一言コツ
隠れ層には ReLU、Transformer系には GELU。まずこの使い分けを覚えよう。
⑦ 関連関数
torch.nn.GELU — Transformer・BERTで標準の活性化関数
torch.nn.LeakyReLU — 負の値でも小さな勾配を持つReLU改良版
torch.nn.Sigmoid — 2値分類の出力層や、GANで使う
⑧ バージョン注意点
inplace=True オプションがあり、メモリを節約できるが、autograd との相性で稀にエラーになることがある。慣れないうちは nn.ReLU() (デフォルト inplace=False)を使おう。
【手を動かして学びたい方へ】
読むだけで終わらせず、実際に動かして確かめられる演習ノートブック付きの記事を公開しています(無料)。
▼ PyTorchでMLPを実装する演習|分類と回帰を同じ骨組みで書く【基礎編①・無料ノートブック】
https://note.com/technosend/n/nb3888e2dd2e1
【このシリーズについて】
「3分で学ぶPyTorch」は、PyTorchのAPIを1回1つ、3分で読み切れる形で解説する連載です。月・水・金に更新、全32本を予定しています。
▼ マガジンをフォローすると新着が届きます
3分で学ぶPyTorch
https://note.com/technosend/m/m84d841b6d067