RandomForestはホントに交互作用を拾うか？

木構造系のモデルは、分岐の組み合わせにより説明変数間の交互作用もモデルに自動的に組み込まれそうな「気がする」。しかし実際に実際に動かしてそのことを確認した記事がネット上になかったので自分自身で確認することに。

まずはトイデータを用意。ここでX[:, 2]とX[:, 3]が交互作用で目的変数に効くようにしている。X[:, 0]は目的変数には無関係な説明変数。

次に学習＆テストデータセットに分けて学習と予測を行って精度評価してみる。

ここでは比較対象として単純な線形回帰モデルも使っている。

なるほど、ほとんど予測できていない線形回帰と比べてRandomForestは精度良く予測できている。

Importanceも一応見てみると、交互作用に関わる変数のImportanceが高くなっている。

以上、当たり前といえば当たり前だけど実際に確認してみた。

※ ここに元のNotebookを置いています。