Random Planted Forest: a directly interpretable tree ensemble

要約

回帰設定における予測のための、解釈可能な木に基づく新しいアルゴリズムを紹介する。我々の動機は、未知の回帰関数を関数分解の観点から推定することであり、関数成分は低次の相互作用項に対応する。このアイデアは、ランダムフォレストアルゴリズムを修正することであり、ある葉を削除する代わりに、分割後も残すというものである。これにより非二元木ができ、我々はこれを植林木と呼ぶ。森への拡張は、我々のランダム植林アルゴリズムにつながる。さらに、葉の中で相互作用できる共変量の最大数を制限することができる。この相互作用の境界を1に設定すると、結果として得られる推定量は1次元関数の和となる。もう1つの極端なケースでは，もし我々が制限を設定しなければ，結果の推定量と対応するモデルは，回帰関数の形に制約を与えない．シミュレーション研究において、我々のランダム植林法の有望な予測特性と可視化特性を見出す。また、交互作用の境界が小さい場合の理想化されたバージョンのランダム人工林の理論を開発する。理想化されたバージョンは、それが3より小さい場合、対数ファクターまで漸近的に最適な収束率を達成することを示す。コードはGitHub https://github.com/PlantedML/randomPlantedForest。

要約(オリジナル)

We introduce a novel interpretable tree based algorithm for prediction in a regression setting. Our motivation is to estimate the unknown regression function from a functional decomposition perspective in which the functional components correspond to lower order interaction terms. The idea is to modify the random forest algorithm by keeping certain leaves after they are split instead of deleting them. This leads to non-binary trees which we refer to as planted trees. An extension to a forest leads to our random planted forest algorithm. Additionally, the maximum number of covariates which can interact within a leaf can be bounded. If we set this interaction bound to one, the resulting estimator is a sum of one-dimensional functions. In the other extreme case, if we do not set a limit, the resulting estimator and corresponding model place no restrictions on the form of the regression function. In a simulation study we find encouraging prediction and visualisation properties of our random planted forest method. We also develop theory for an idealized version of random planted forests in cases where the interaction bound is low. We show that if it is smaller than three, the idealized version achieves asymptotically optimal convergence rates up to a logarithmic factor. Code is available on GitHub https://github.com/PlantedML/randomPlantedForest.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL