
畳み込みニューラルネットワーク(CNN)[G検定・学習の記録]
LeNet
CNNの基礎を確立。畳み込み + プーリング + 全結合の基本構造。手書き数字(MNISTなど)に特化。当時は計算機性能が低く、実用は限定的だったが、現代CNNの基礎となっている。
AlexNet
2012年にILSVRCで優勝。
ディープラーニングブームの火付け役。ReLU活性化関数、Dropout、GPU並列学習、データ拡張を導入。LeNetを深く・大きくしたモデル。
特にReLU(勾配消失しにくい)、Dropout(過学習防止)の導入が革新的。
LeNetをスケールアップしただけだが、これが「深いネットワークが有効」という証明になった。
計算機(GPU)と大規模データで「深い方が良い」ことを実証し、ディープラーニングブームとなる。
VGGNet
3×3小さなフィルタを繰り返し積むシンプル構造。層を深くする効果を証明。特徴抽出器として今も人気で、今でも特徴抽出のベースモデルとしてよく使われる。パラメータ数は多く、計算コスト高め。
VGGは「深さの追求」(シンプル)
GoogLeNet
2014年にILSVRCで優勝。
Inceptionモジュールが最大の特徴。1×1 / 3×3 / 5×5などの異なるサイズのフィルタを並列に使い、多スケール特徴を効率的に抽出。1×1畳み込みで次元削減し、パラメータを大幅削減(約4M)。深さだけでなく「幅(幅広さ)」を重視。
ネットワークの途中から直接誤差を伝播させるための補助的な損失につながる分岐機構が導入された。これによって、勾配消失が起きにくくなった。
Inceptionモジュール:複数のフィルタサイズを並列適用し、異なるスケールの物体を同時に捉える。
GoogLeNetは「構造の工夫」(効率・多スケール)
ResNet
2015年にILSVRCで優勝。Microsoftが開発。
スキップ結合(残差接続、Residual Connection / Skip Connection)を導入。深い層でも勾配消失問題を解決し、性能が飽和せず向上。ResNet-50が特にバランス良く実用的。
深さの限界(勾配消失)を突破。以後、超深層や高効率モデル(DenseNet、EfficientNetなど)の基盤に。
※勉強中のため、内容に誤りがあればコメントでご教示いただけると嬉しいです。