最後に仕上げるファインチューニング

ニューラルネットワークにおいて重要な役割を示すオートエンコーダであるが、これをいくら積み重ねても、ラベルを出力できない、ということに注意する必要がある。
つまり、オートエンコーダ自身が、入力から重要な情報だけを抽出する、という教師なし学習の手法であるためだ。

積層エンコーダでは、これを解決するために、最後に、シグモイド関数やソフトマックス関数などを実行することによって、ロジスティック回帰層を追加（あるいは線形回帰層）、つまり教師あり学習の状態にすることを実現している。
ただし、最後に追加するロジスティック回帰層にも、重みの調整が必要となる。

スポンサーリンク

こうして、事前学習を終え、ロジスティック回帰層の追加まで終えたら、最後に、一気にネットワーク全体の学習を行う。
この時点で、各隠れ層の重みは調整されているため、一気に学習を行なっても、誤差が適切に伝播されていくことになる。
この最後の仕上げを、ファインチューニングと呼ぶ。

まとめると、積層オートエンコーダは、事前学習とファインチューニングによって構成されている、ということになる。