TreeFlow: Going beyond Tree-based Gaussian Probabilistic Regression

要約

ツリーベースのアンサンブルは、さまざまな範囲およびドメインからの混合型変数によって表される特徴ベクトルによって特徴付けられる、分類および回帰問題において優れたパフォーマンスを発揮することで知られています。
ただし、回帰問題を考慮すると、これらは主に決定論的な応答を提供するか、ガウス分布またはパラメトリック分布を使用して出力の不確実性をモデル化するように設計されています。
この研究では、ツリー アンサンブルを使用する利点と正規化フローを使用して柔軟な確率分布をモデル化する機能を組み合わせたツリーベースのアプローチである TreeFlow を紹介します。
このソリューションの主なアイデアは、ツリーベースのモデルを特徴抽出器として使用し、それを正規化フローの条件付きバリアントと組み合わせるというものです。
したがって、私たちのアプローチは回帰出力の複雑な分布をモデル化できます。
さまざまなボリューム、特徴特性、ターゲットの次元を使用した困難な回帰ベンチマークで、提案された方法を評価します。
マルチモーダルなターゲット分布を持つデータセットの確率的メトリクスと決定論的メトリクスの両方について SOTA 結果を取得し、ツリーベースの回帰ベースラインと比較した単峰性のターゲット分布での競合結果を取得します。

要約(オリジナル)

The tree-based ensembles are known for their outstanding performance in classification and regression problems characterized by feature vectors represented by mixed-type variables from various ranges and domains. However, considering regression problems, they are primarily designed to provide deterministic responses or model the uncertainty of the output with Gaussian or parametric distribution. In this work, we introduce TreeFlow, the tree-based approach that combines the benefits of using tree ensembles with the capabilities of modeling flexible probability distributions using normalizing flows. The main idea of the solution is to use a tree-based model as a feature extractor and combine it with a conditional variant of normalizing flow. Consequently, our approach is capable of modeling complex distributions for the regression outputs. We evaluate the proposed method on challenging regression benchmarks with varying volume, feature characteristics, and target dimensionality. We obtain the SOTA results for both probabilistic and deterministic metrics on datasets with multi-modal target distributions and competitive results on unimodal ones compared to tree-based regression baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google