ドロップアウトの弱点と克服法

ドロップアウトは、オーバーフィッティングを回避するための手法として効果的な手法ではあったが、それでも弱点はある。

それは、訓練データに対しては非常に効果的に最適化されているものの、テストデータに対しては最適化しきれていないため、どうしてもオーバーフィッティングを防ぎきれていない、という状態になってしまう点だ。
これは訓練データを用いて、予測値と実際の値の誤差を最小化する、というアプローチをとっているためだ。

スポンサーリンク

そこで、early stoppingという手法が用いられている。
この手法は、テストデータに対する誤差関数の値が上昇を始めたところで学習を止めてしまう、という手法だ。
非常にシンプルな手法ではあるが、どのモデルでも適用できるという点で、非常に有効な手法であるとされている。