Wasserstein Gradient Boosting: A Framework for Distribution-Valued Supervised Learning

要約

勾配ブースティングは、反復ごとに新しい弱学習器を擬似残差に適合させる逐次アンサンブル手法です。
我々は、新しい弱学習器を、各入力に割り当てられた確率分布の損失汎関数のワッサーシュタイン勾配である代替擬似残差に適合させる勾配ブースティングの新しい拡張であるワッサーシュタイン勾配ブースティングを提案します。
これは、トレーニング データセットの出力値が各入力の確率分布である分布値教師あり学習を解決します。
分類と回帰では、モデルは通常、応答ラベルに指定されたカテゴリ分布のクラス確率パラメーターなど、応答変数に指定されたノイズ分布のパラメーターの点推定を入力ごとに返します。
この論文におけるワッサーシュタイン勾配ブースティングの主な用途は、各入力の応答パラメーターの分布推定を返すツリーベースの証拠学習です。
我々は、既存の不確実性定量化手法と比較して、Wasserstein 勾配ブースティングによる確率的予測の優れたパフォーマンスを経験的に実証します。

要約(オリジナル)

Gradient boosting is a sequential ensemble method that fits a new weaker learner to pseudo residuals at each iteration. We propose Wasserstein gradient boosting, a novel extension of gradient boosting that fits a new weak learner to alternative pseudo residuals that are Wasserstein gradients of loss functionals of probability distributions assigned at each input. It solves distribution-valued supervised learning, where the output values of the training dataset are probability distributions for each input. In classification and regression, a model typically returns, for each input, a point estimate of a parameter of a noise distribution specified for a response variable, such as the class probability parameter of a categorical distribution specified for a response label. A main application of Wasserstein gradient boosting in this paper is tree-based evidential learning, which returns a distributional estimate of the response parameter for each input. We empirically demonstrate the superior performance of the probabilistic prediction by Wasserstein gradient boosting in comparison with existing uncertainty quantification methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google