Oblique Bayesian additive regression trees

要約

ベイジアン加法回帰ツリー (BART) の現在の実装は、一度に 1 つの特徴を使用して特徴空間を再帰的に分割する軸に合わせた決定ルールに基づいています。
何人かの著者は、決定ルールが特徴の線形結合に基づいている斜めのツリーが、場合によっては軸に整列したツリーよりも優れた予測を生成し、優れた理論的特性を示すことを実証しました。
私たちは、ランダムな超平面に沿って特徴空間を再帰的に分割する前に、データ適応型決定ルールを活用する BART のオブリーク バージョンを開発します。
いくつかの合成ベンチマーク データセットと現実世界のベンチマーク データセットを使用して、オブリーク BART の実装を軸合わせ BART および他のツリー アンサンブル手法と体系的に比較し、オブリーク BART がこれらの手法と競合し、場合によってはそれよりも優れていることを発見しました。

要約(オリジナル)

Current implementations of Bayesian Additive Regression Trees (BART) are based on axis-aligned decision rules that recursively partition the feature space using a single feature at a time. Several authors have demonstrated that oblique trees, whose decision rules are based on linear combinations of features, can sometimes yield better predictions than axis-aligned trees and exhibit excellent theoretical properties. We develop an oblique version of BART that leverages a data-adaptive decision rule prior that recursively partitions the feature space along random hyperplanes. Using several synthetic and real-world benchmark datasets, we systematically compared our oblique BART implementation to axis-aligned BART and other tree ensemble methods, finding that oblique BART was competitive with — and sometimes much better than — those methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google