ドロップアウトによるオーバーフィッティング対策

訓練データに対して最適化されすぎてしまう、という機械学習における最大の敵ともいえる、オーバーフィッティング。
解決策として、正則化が挙げられることについて、以前記述したことがある。
itisit.hateblo.jp これ以外にも方法はあり、その一つとして、ドロップアウトという手法が挙げられる。

ドロップアウトとは、学習の際に、ランダムにニューロンを強制的に終了させるという手法である。
もともとのネットワークから、学習の繰り返しごとにニューロンを除外することで、毎回形の異なるネットワークで学習を行うことになる。これは、複数の形の学習を行うことを意味し、形態としてはアンサンブル学習を行なっていることになる。

学習するごとに、ランダムにドロップアウトするニューロンを選ぶことで、学習全体でみた場合にパラメータの値が調整される、という仕組みだ。