オートエンコーダによる情報伝達法

2006年にトロント大学のジェフリー・ヒントンによって、ニューラルネットワークが抱える、理想と現実のギャップを解決する手法が提唱された。
オートエンコーダ、あるいは、自己符号化器と呼ばれる手法で、ディープラーニングの主要な構成要素となった。

オートエンコーダとは、入力層と出力層がセットになった可視層と隠れ層の2層からなるネットワークである。
もっと簡単に説明すると、入力と出力が同じようになるようなニューラルネットワークということになるね。

オートエンコーダに与えられる入力は、可視層（入力層）→隠れ層→可視層（出力層）の順に伝播し、出力される。
このように、形態だけでみると、多層パーセプトロンに類似している。

しかし、オートエンコーダでは、隠れ層に、入力の情報が圧縮されたものが反映される、という特徴がある。
この時、可視層（入力層）の次元より、隠れ層の次元を小さくしておく必要がある。
これにより、入力層から隠れ層の次元まで情報が圧縮されることになる。
一度入力した情報の要約（圧縮情報）を元に出力することで、大事な情報だけが隠れ層に反映されていくわけだ。

この、入力層から隠れ層における処理をエンコードと呼ぶ。
逆に、隠れ層から出力層における処理をデコードと呼ぶ。