Variational Boosted Soft Trees

要約

決定木に基づく勾配ブースティング マシン (GBM) は、表形式のデータを使用した回帰および分類タスクで最先端の結果を一貫して示しており、多くの場合、ディープ ニューラル ネットワークよりも優れています。
ただし、これらのモデルは十分に調整された予測の不確実性を提供しないため、リスクの高いアプリケーションでの意思決定に使用できません。
ベイジアン処理は、予測の不確実性のキャリブレーションを改善することが知られていますが、以前に提案されたベイジアン GBM 法は、計算コストが高いか、粗い近似に頼っています。
変分推論は、ベイジアン ニューラル ネットワークの実装によく使用されますが、弱学習器として使用される決定木は微分不可能であるため、GBM に適用することは困難です。
この論文では、Irsoyらによって導入された標準決定木の完全に微分可能な代替手段であるソフト決定木による変分推論を使用して、ベイジアン GBM を実装することを提案します。
私たちの実験は、変分ソフト ツリーと変分ソフト GBM が有用な不確実性の推定を提供する一方で、優れた予測性能を維持することを示しています。
提案されたモデルは、7/10 表形式の回帰データセットの最新のベイジアン GBM と比較して、より高いテスト可能性を示し、5/10 データセットの分布外検出を改善しています。

要約(オリジナル)

Gradient boosting machines (GBMs) based on decision trees consistently demonstrate state-of-the-art results on regression and classification tasks with tabular data, often outperforming deep neural networks. However, these models do not provide well-calibrated predictive uncertainties, which prevents their use for decision making in high-risk applications. The Bayesian treatment is known to improve predictive uncertainty calibration, but previously proposed Bayesian GBM methods are either computationally expensive, or resort to crude approximations. Variational inference is often used to implement Bayesian neural networks, but is difficult to apply to GBMs, because the decision trees used as weak learners are non-differentiable. In this paper, we propose to implement Bayesian GBMs using variational inference with soft decision trees, a fully differentiable alternative to standard decision trees introduced by Irsoy et al. Our experiments demonstrate that variational soft trees and variational soft GBMs provide useful uncertainty estimates, while retaining good predictive performance. The proposed models show higher test likelihoods when compared to the state-of-the-art Bayesian GBMs in 7/10 tabular regression datasets and improved out-of-distribution detection in 5/10 datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google