ニューラルネットワークにおける勾配消失問題とは？

隠れ層を増やすことで、より複雑な認識、予測が可能となりうるニューラルネットワークであるが、一方で、誤差逆伝播法による、予測結果と実際の正解との誤差をフィードっバックするうえで、ネットワークを深くすることで、誤差が最後まで正しく伝播されなくなってしまう、という結果が生じてしまった。

スポンサーリンク

具体的には、隠れ層を遡るごとに、活性化関数の微分に掛け合わされて伝播していく誤差が、どんどん小さくなってしまうのである。
これが、多くの隠れ層があると、入力層付近の隠れ層に到達するころには、もはやフィードバックすべき誤差がなくなってしまっている、という現象だ。
これを、勾配消失問題と呼ぶ。

この勾配消失問題の解決こそが、ディープラーニングを成功へと導く鍵として研究が進められるようになった。