メインコンテンツへスキップ
見出し画像

3分で学ぶPyTorch|torch.nn.ReLU

    公式Docs:https://pytorch.org/docs/stable/generated/torch.nn.ReLU.html
    対応確認バージョン:PyTorch 2.11(公式Docsベース)


    ① 何をするものか

    torch.nn.ReLU は、活性化関数の定番クラスです。入力が0以下なら0に、0より大きければそのまま出力します(max(0, x))。非線形性を加えることで、線形変換だけでは学習できない複雑なパターンをモデルが学べるようになります。


    ② いつ使うのか

    • MLP・CNN など、各層の後に非線形性を加えるとき

    • 隠れ層の活性化関数として(最終層には通常使わない)

    • シンプルで計算が速い活性化関数が欲しいとき


    ③ どう使うのか(最小コード)

    import torch
    import torch.nn as nn
    
    # ✅ クラスとして使う(Sequential / Module の中)
    relu = nn.ReLU()
    x = torch.tensor([-2.0, -1.0, 0.0, 1.0, 2.0])
    y = relu(x)
    print(y)   # tensor([0., 0., 0., 1., 2.])
    
    # ✅ 関数として使う(forward の中で手軽に)
    import torch.nn.functional as F
    y = F.relu(x)
    print(y)   # tensor([0., 0., 0., 1., 2.])
    
    # MLP での使い方
    model = nn.Sequential(
        nn.Linear(4, 16),
        nn.ReLU(),          # ← 隠れ層の後
        nn.Linear(16, 8),
        nn.ReLU(),          # ← 隠れ層の後
        nn.Linear(8, 2)     # 最終層には使わない
    )
    入力 x: [-2, -1, 0, 1, 2]
    出力 y: [ 0,  0, 0, 1, 2]  ← 負の値が0になる
    shapeは変わらない

    ④ つまずきポイント

    1. 最終層(出力層)には使わない

    ReLUは出力を0以上に制限してしまいます。分類タスクの最終層は nn.Linear のまま、回帰タスクでも通常は使いません。

    2. nn.ReLU() vs F.relu() の使い分け

    • nn.ReLU():Sequential に並べたり、self.relu として持てる

    • F.relu(x):forward() の中でその場で使う(インスタンス不要)

    どちらを使っても結果は同じです。個人的な好みやコードスタイルで選びましょう。

    3. 「死んだReLU」問題

    学習が進むとReLUのニューロンが常に0を出力し続ける「Dying ReLU」が起きることがあります。対策として LeakyReLU(負の値でも小さな傾きを持つ)を試してみましょう。

    4. Transformer系には GELU が主流

    BERTやViTなどのモデルでは nn.GELU() が標準です。MLP・CNNでは今もReLUが現役です。

    # Transformer系で使われる活性化関数
    activation = nn.GELU()

    ⑤ よくあるエラーと対策

    エラー例

    RuntimeError: Expected all tensors to be on the same device

    原因:
    ReLU自体はデバイスに関係ないが、入力テンソルが GPU/CPU で混在している。

    対策:
    入力テンソルのデバイスを揃える。x = x.to(device)


    エラー例

    (ReLU単体でエラーは少ないが)学習が進まない・損失が下がらない

    原因:
    学習率が高すぎて「死んだReLU」が大量発生している。

    対策:
    学習率を下げるか、nn.LeakyReLU(negative_slope=0.01) に変える。


    ⑥ 一言コツ

    隠れ層には ReLU、Transformer系には GELU。まずこの使い分けを覚えよう。


    ⑦ 関連関数


    ⑧ バージョン注意点

    inplace=True オプションがあり、メモリを節約できるが、autograd との相性で稀にエラーになることがある。慣れないうちは nn.ReLU() (デフォルト inplace=False)を使おう。


    【手を動かして学びたい方へ】

    読むだけで終わらせず、実際に動かして確かめられる演習ノートブック付きの記事を公開しています(無料)。

    ▼ PyTorchでMLPを実装する演習|分類と回帰を同じ骨組みで書く【基礎編①・無料ノートブック】
    https://note.com/technosend/n/nb3888e2dd2e1


    【このシリーズについて】

    「3分で学ぶPyTorch」は、PyTorchのAPIを1回1つ、3分で読み切れる形で解説する連載です。月・水・金に更新、全32本を予定しています。

    ▼ マガジンをフォローすると新着が届きます

    3分で学ぶPyTorch
    https://note.com/technosend/m/m84d841b6d067

     
     
    認識系AIの受託開発会社Techno.send代表|博士(工学)。画像処理・欠陥検知のAIを実際に納品しています。noteでは「PyTorchなどAI実装の技術メモ」と演習教材を公開します。Mission:数値化された世界の実現 🍫

    あなたへのおすすめ