ランダムフォレストによる学習アルゴリズム

ランダムフォレストとは、決定木を用いる学習手法である。
特徴量をランダムに選び出すことで、ランダムに複数の決定木が作られる。
この結果、各予想で異なる結果が出ることがあるが、それぞれの結果を用いて多数決をとることで、最終的な決定を行う。

また、全てのデータを使うのではなく、それぞれの決定木に対してランダムに一部のデーやを取り出して用いる、ブートストラップサンプリングと呼ばれる手法が使われている。

スポンサーリンク

このようにランダムフォレストでは、複数のモデルを用いることになる。
これを、アンサンブル学習と呼ぶ。
アンサンブル学習によって、一般的には精度が上がり、予測値の信頼性が評価できるようになる、とされている。

また、全体から一部のデーやを用いて複数のモデルを用いて学習する方法をバギングと呼ぶ。
ランダムフォレストとは、バギングの中で決定木を利用するモデル、ということになる。

さらに、バギング同様、一部のデータを繰り返して抽出し、複数のモデルを学習する方法に、ブースティングという手法もある。
ブースティングとバギングとの違いは、複数のモデルを一気に並列に作成するバギングに対し、ブースティングは逐次的に作成を行なっていく。
また、ブースティングも、決定木が用いられおり、AdaBoostや、勾配ブースティング、XgBoostなどが有名である。

一般的には、ランダムフォレストよりも、ブースティングの方が精度が高いとされている。
しかし、逐次的に処理を行うため、学習にかかる時間が多くなる、という欠点もある。