Regression Trees Know Calculus

要約

回帰ツリーは、非線形性、相互作用効果、および鋭い不連続性に対処できるため、現実世界の回帰問題を解決するための優れたツールとして登場しました。
この記事では、むしろ、適切に動作する微分可能な関数に適用される回帰木を研究し、ノード パラメーターと近似される関数の局所勾配との関係を決定します。
一般的な木学習ライブラリによって公開されている量を使用して効率的に計算できる勾配の簡単な推定値を見つけます。
これにより、ニューラル ネットやガウス プロセスなどの微分可能アルゴリズムのコンテキストで開発されたツールをツリーベースのモデルに展開できるようになります。
これを実証するために、勾配の積分に関して定義されたモデル感度の尺度を研究し、提案された勾配推定値を使用して回帰ツリーの感度を計算する方法を示します。
定量的および定性的な数値実験により、回帰ツリーによって推定された勾配が、予測分析を改善し、不確実性の定量化におけるタスクを解決し、モデルの動作の解釈を提供できることが明らかになります。

要約(オリジナル)

Regression trees have emerged as a preeminent tool for solving real-world regression problems due to their ability to deal with nonlinearities, interaction effects and sharp discontinuities. In this article, we rather study regression trees applied to well-behaved, differentiable functions, and determine the relationship between node parameters and the local gradient of the function being approximated. We find a simple estimate of the gradient which can be efficiently computed using quantities exposed by popular tree learning libraries. This allows the tools developed in the context of differentiable algorithms, like neural nets and Gaussian processes, to be deployed to tree-based models. To demonstrate this, we study measures of model sensitivity defined in terms of integrals of gradients and demonstrate how to compute them for regression trees using the proposed gradient estimates. Quantitative and qualitative numerical experiments reveal the capability of gradients estimated by regression trees to improve predictive analysis, solve tasks in uncertainty quantification, and provide interpretation of model behavior.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google