リカレントニューラルネットワークの基本的な仕組み

時間依存性を学習するリカレントニューラルネットワークの仕組みとは一体どのようになっているのか。
実はそんなに難しいことではなく、通常のニューラルネットワークが持つ隠れ層と同様に、過去の隠れ層が追加されているものが、リカレントニューラルネットワークということになる。

スポンサーリンク

流れとしては、このリカレントニューラルネットワークのモデルに対し、時間軸に沿った順番でデータを古いものから入力するだけだ。
ここからは、通常のニューラルネットワーク同様、隠れ層に重みを与えることで情報が伝わっていくが、リカレントニューラルネットワークでは、ここからさらに、過去の隠れ層から、現在の隠れ層に対してつながり（重み）を持たせる、ということが追加される。

誤差の逆伝播も同様で、過去に遡って反映する必要があることも注意が必要となる。
この時間軸に沿って誤差を反映していくことを、BackPropagation Through-Time（BPTT）と呼ぶ。