ディープニューラルネットワークにおいて、隠れ層を増やすと、誤差逆伝播で勾配消失することがわかっている。 これは、活性化関数であるシグモイド関数の微分の最大値に問題があるためだ。 シグモイド関数の微分の最大値は0.25である。 これにより勾配消失が…

機械学習、とりわけディープラーニングの発展に欠かせない存在が、CPUやGPUなどのハードウェアの進歩である。 コンピュータには、CPU（Central Processing Unit）とGPU（Graphics Processing Unit）という演算処理装置があり、それぞれ異なった性質を持って…