Efficient distributional regression trees learning algorithms for calibrated non-parametric probabilistic forecasts

要約

科学と工学の重要なアプリケーションのために信頼できるAIを開発するという視点には、自分の不確実性を推定できる機械学習技術が必要です。
回帰のコンテキストでは、条件付き平均を推定する代わりに、これは出力の予測間隔を生成することによって達成できます。
指定された入力機能$ x $。
これは、パラメトリックな仮定の下で行うことができますが、例えば
一般化された線形モデル、これらは通常強すぎ、ノンパラメトリックモデルは柔軟な代替品を提供します。
特に、スカラー出力の場合、$ x $の$ y $の条件付き累積分布関数のモデルを直接学習すると、より正確な確率的推定値、および加重インターバルスコア（WIS）などの適切なスコアリングルールの使用につながる可能性があります。
連続ランク付けされた確率スコア（CRPS）は、カバレッジとキャリブレーションの特性が向上します。
このペーパーでは、WISまたはCRPS損失関数の確率的回帰ツリーを学習するための新しいアルゴリズムを紹介します。
これらのアルゴリズムは、既知のデータ構造、つまりMin-Max Heaps、Weight-Balanced Binary Trees、Fenwick Treesの適切な使用により、計算上効率的になります。
数値実験を通じて、私たちの方法のパフォーマンスが代替アプローチと競合していることを実証します。
さらに、私たちの方法は、木の固有の解釈可能性と説明可能性の恩恵を受けます。
副産物として、コンフォーマル予測のコンテキストで木をどのように使用できるかを示し、グループ条件のカバレッジ保証を達成するのに特に適している理由を説明します。

要約(オリジナル)

The perspective of developing trustworthy AI for critical applications in science and engineering requires machine learning techniques that are capable of estimating their own uncertainty. In the context of regression, instead of estimating a conditional mean, this can be achieved by producing a predictive interval for the output, or to even learn a model of the conditional probability $p(y|x)$ of an output $y$ given input features $x$. While this can be done under parametric assumptions with, e.g. generalized linear model, these are typically too strong, and non-parametric models offer flexible alternatives. In particular, for scalar outputs, learning directly a model of the conditional cumulative distribution function of $y$ given $x$ can lead to more precise probabilistic estimates, and the use of proper scoring rules such as the weighted interval score (WIS) and the continuous ranked probability score (CRPS) lead to better coverage and calibration properties. This paper introduces novel algorithms for learning probabilistic regression trees for the WIS or CRPS loss functions. These algorithms are made computationally efficient thanks to an appropriate use of known data structures – namely min-max heaps, weight-balanced binary trees and Fenwick trees. Through numerical experiments, we demonstrate that the performance of our methods is competitive with alternative approaches. Additionally, our methods benefit from the inherent interpretability and explainability of trees. As a by-product, we show how our trees can be used in the context of conformal prediction and explain why they are particularly well-suited for achieving group-conditional coverage guarantees.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google