機械学習、とりわけディープラーニングの発展に欠かせない存在が、CPUやGPUなどのハードウェアの進歩である。 コンピュータには、CPU（Central Processing Unit）とGPU（Graphics Processing Unit）という演算処理装置があり、それぞれ異なった性質を持って…

ニューラルネットワークにおいて重要な役割を示すオートエンコーダであるが、これをいくら積み重ねても、ラベルを出力できない、ということに注意する必要がある。 つまり、オートエンコーダ自身が、入力から重要な情報だけを抽出する、という教師なし学習の…

オートエンコーダ自信は、ニューラルネットワーク対して有効な手法であり、ディープニューラルネットワークには適用しきれませんでした。 では、一体どのようにして、ディープニューラルネットワークに対応できるようにしたか。 それは非常に単純であり、オ…

2006年にトロント大学のジェフリー・ヒントンによって、ニューラルネットワークが抱える、理想と現実のギャップを解決する手法が提唱された。 オートエンコーダ、あるいは、自己符号化器と呼ばれる手法で、ディープラーニングの主要な構成要素となった。 オ…

隠れ層を増やすことで、より複雑な認識、予測が可能となりうるニューラルネットワークであるが、一方で、誤差逆伝播法による、予測結果と実際の正解との誤差をフィードっバックするうえで、ネットワークを深くすることで、誤差が最後まで正しく伝播されなく…

単純パーセプトロンは、入力をもとに出力を行うもので、線形分類しか行うことができなかった。 これに、入力と出力の関係性を、隠れ層の中に重み付けとして表現する関数を追加することで、非線形分類ができるようになった。 これが多層パーセプトロンの基本…