様々なリカレントニューラルネットワーク

Bidirectional RNN

通常のLSTMは、過去から未来への一方通行にのみ対応しているが、ケースによっては、過去と未来の両方の情報を使って予測する方が効果的な場合もある。
こういった場合、LSTMを2つ組み合わせることで、過去から未来、未来から過去の両ケースでの学習が可能となる。
このモデルを、Bidirectional RNN（BiRNN）と呼ぶ。

Bidirectional RNNでは過去用と未来用の2つの時間軸に沿って、それぞれ独立してデータが展開されているのみで、構造としては非常に単純なものである。

RNN Encoder-Decoder

入力が時系列の場合、出力も時系列で行いたい場合の問題を、sequence-to-sequenceと呼ぶ。
これは、自然言語処理の分野で研究が進んでいる。

このケースのアプローチも、Bidirectional RNN同様、LSTMを2つ組み合わせることで、入力と出力のそれぞれにLSTMを対応している。
RNN Encoder-Decoderとは、その名の通り、エンコーダとデコーダの2つのLSTMに分かれており、エンコーダが入力データを、デコーダが出力データをそれぞれ処理する。
出力が時系列であるため、全ての出力を一気に行うことができないため、デコーダの出力を、次のステップの入力として受け取って処理することになる。

スポンサーリンク

Attention

リカレントニューラルネットワークでは、その時点の状態が、まとまって過去の隠れ層として反映されており、どの時点がどれだけ影響を持っているか、までは直接的に行うことができない。
Attentionは、時間の重みをネットワークに組み込んだもので、過去の時点それぞれの重みを学習することで、時間の重みを考慮したモデルを実現している。

ただし、直近の過去しか重み付けできないのではないか、という指摘があがっている。