バッチ正規化で無理やりデータを変形させる

各層に伝わるデータの分布を、重みの初期値を工夫することで、勾配消失の起きにくいアプローチをとることがあるが、もっと直接的な方法も存在する。
バッチ正規化と呼ばれる手法で、各層に伝わってきたデータを、その層でまた正規化してしまう、という手法だ。
これは、各層において、活性化関数をかける前に伝搬してきたデータを正規化するもので、どのように調整すればいいかをネットワークが学習することになる。

スポンサーリンク

このバッチ正規化は、学習がうまくいきやすいということと、オーバーフィッティングしにくくなる、というメリットがある。