Wasserstein Gradient Boosting: A General Framework with Applications to Posterior Regression

要約

勾配ブースティングは、新しい基本学習器を各ステップでの残りの損失の勾配に適合させる逐次アンサンブル手法です。
我々は、新しい基本学習器を確率分布空間上の損失汎関数の正確またはほぼ利用可能なワッサーシュタイン勾配に適合させる新しい勾配ブースティングのファミリーであるワッサーシュタイン勾配ブースティングを提案します。
Wasserstein 勾配ブースティングは、各入力で割り当てられたターゲット確率分布を近似する粒子のセットを返します。
確率的予測では、多くの場合、パラメトリック確率分布が出力変数の空間上で指定され、出力分布パラメーターの点推定値がモデルによって入力ごとに生成されます。
Wasserstein 勾配ブースティングの主な用途は、出力分布パラメータの新しい分布推定です。これは、各データ ポイントで点ごとに決定された出力分布パラメータにわたる事後分布を近似します。
我々は、さまざまな既存の方法と比較して、Wasserstein 勾配ブースティングによる確率的予測の優れたパフォーマンスを経験的に実証します。

要約(オリジナル)

Gradient boosting is a sequential ensemble method that fits a new base learner to the gradient of the remaining loss at each step. We propose a novel family of gradient boosting, Wasserstein gradient boosting, which fits a new base learner to an exactly or approximately available Wasserstein gradient of a loss functional on the space of probability distributions. Wasserstein gradient boosting returns a set of particles that approximates a target probability distribution assigned at each input. In probabilistic prediction, a parametric probability distribution is often specified on the space of output variables, and a point estimate of the output-distribution parameter is produced for each input by a model. Our main application of Wasserstein gradient boosting is a novel distributional estimate of the output-distribution parameter, which approximates the posterior distribution over the output-distribution parameter determined pointwise at each data point. We empirically demonstrate the superior performance of the probabilistic prediction by Wasserstein gradient boosting in comparison with various existing methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google