現在、tanh関数に変わってよく使われているのが、ReLU(Rectified Linear Unit)関数である。 ReLU関数ではxが0より大きければ、微分値は常に最大値である1が得られることがわかる。 tanh関数では最大値が1、となるため、このことからも誤差逆伝播の際に勾配…
引用をストックしました
引用するにはまずログインしてください
引用をストックできませんでした。再度お試しください
限定公開記事のため引用できません。