色々な畳み込みニューラルネットワーク

画像処理に大きな威力を発揮する畳み込みニューラルネットワークは、様々な工夫が加えられたモデルが多数開発されている。

例えば、AlexNetはトロント大学で開発されたもので、2012年のImageNet Large Scale Visual Recognition Challenge（ILSVRC）で圧倒的な精度で優勝している。
AlexNetでは、

• 畳み込み層
• プーリング層
• 畳み込み層
• プーリング層
• 畳み込み層
• 畳み込み層
• 畳み込み層
• プーリング層
• 全結合層

という構造になっている。
畳み込み層とプーリング層の繰り返しを増やすことによって、より深いネットワークのモデルが実現可能となっている。

VGGはオックスフォード大学が開発したもので、2014年のILSVRCで2位の成績を収めている。
VGG16やVGG19（それぞれ16層、19層）と重みがある層によって、いくつかの種類が存在する。

層を深くした場合、計算量が膨大になってしまい、学習が進まなくなってしまう可能性がある。
そこで、1×1や、3×3など、小さなサイズの畳み込みフィルタを差し込んで、計算量そのものを減らす、というアプローチがとられている。

スポンサーリンク

GoogLeNetは、その名の通りGoogleのチームが開発したもので、2014年のILSVRCで優勝しているモデルだ。

複数の畳み込み層やプーリング層で構成されるInceptionモジュールというブロックを構成することで、並列計算を行いやすくするような工夫がとられている。
しかし、それでも層があまりにも深くなりすぎると、性能の低下や、誤差が逆伝播しにくいといった問題が起きることが判明した。
そこで、Skip connectionと呼ばれる、層を飛び越えた結合を加えることで、この問題を回避している。
Skip connectionを導入したネットワークをResNet（Residual Network）呼んでいる。

Skip connectionの特徴としては、

• 層が深くなっても、層を飛び越える部分は伝播しやすい
• 様々な形のネットワークのアンサンブル学習になっている

となっており、100層以上のネットワークが構築されることもあるという。