
なぜあなたのモデルは学習に失敗するのか。50層で勾配が10^-50になる理由
無料パート
「Sigmoidで学習がうまくいかないのは、飽和するから」——このような説明をどこかで見たことがあるだろう。
確かに飽和は関係ある。だが、それは表面的な説明だ。
実は、あなたが深層ニューラルネットワークを設計するたびに、見えない敵と戦っている。その敵は「勾配」だ。逆伝播の過程で、勾配はどんどん小さくなっていく。50層を遡ると、勾配は最初の値の$10^{-50}$になっていたりする。
これを「勾配消失」と呼ぶ。
「ReLUを使えば解決する」というアドバイスはいたるところにある。だが、多くの人はなぜReLUなのかを理解していない。感覚的に「ReLUの方が良い」という知識に頼っているだけだ。
ここに秘密がある:勾配消失の本質は「飽和」ではなく、統計的に勾配が層間でどう変わるかにある。
Sigmoidの場合、層を遡るたびに勾配の分散(ばらつき)が指数関数的に小さくなる。一度のフィルタリングで信号が縮小し、その縮小された信号をまたフィルタリングする。何千層も繰り返されると、もう回復不可能だ。
では、本当のメカニズムは何か? ReLUがどんな統計的構造を持っているのか? 初期化がなぜそこまで重要なのか? そして、あなたが「モデルが学習しない」と悩むとき、統計学的にはどう診断すればいいのか?
その答えは、確率論にある。
勾配の確率的伝播——「分散の崩壊」という正体
勾配消失の正体は、統計学の言葉では分散の崩壊だ。