Enforcing tail calibration when training probabilistic forecast models

要約

確率的予測は通常、最先端の統計学習モデルと機械学習モデルを使用して取得され、モデルパラメーターは、一連のトレーニングデータに対して適切なスコアリングルールを最適化することにより推定されます。
モデルクラスが正しく指定されていない場合、学習モデルは必ずしも較正された予測を発行するわけではありません。
キャリブレーションされた予測により、ユーザーは意思決定のリスクを適切にバランスさせることができます。また、予測モデルは、このような結果がしばしば大きな社会経済的影響を生み出すため、極端なイベントの校正された予測を発行することが特に重要です。
この作業では、極端なイベントに対して行われた予測の信頼性を改善するために、確率論的予測モデルのトレーニングに使用される損失関数をどのように適応させることができるかを研究します。
加重スコアリングルールに基づいて損失関数を調査し、さらにテールの誤りの尺度を使用して正規化された損失関数を提案します。
これらのアプローチを、単純なパラメトリックモデル、分布回帰ネットワーク、条件付き生成モデルなど、英国の風速のますます柔軟な予測モデルの階層に適用します。
最先端のモデルは、極端な風速のキャリブレーションされた予測を発行せず、極端なイベントの予測のキャリブレーションは、モデルトレーニング中の損失関数への適切な適応によって改善できることを実証します。
ただし、これにより、極端なイベントのための校正された予測と、より一般的な結果のための校正された予測との間にトレードオフが導入されます。

要約(オリジナル)

Probabilistic forecasts are typically obtained using state-of-the-art statistical and machine learning models, with model parameters estimated by optimizing a proper scoring rule over a set of training data. If the model class is not correctly specified, then the learned model will not necessarily issue forecasts that are calibrated. Calibrated forecasts allow users to appropriately balance risks in decision making, and it is particularly important that forecast models issue calibrated predictions for extreme events, since such outcomes often generate large socio-economic impacts. In this work, we study how the loss function used to train probabilistic forecast models can be adapted to improve the reliability of forecasts made for extreme events. We investigate loss functions based on weighted scoring rules, and additionally propose regularizing loss functions using a measure of tail miscalibration. We apply these approaches to a hierarchy of increasingly flexible forecast models for UK wind speeds, including simple parametric models, distributional regression networks, and conditional generative models. We demonstrate that state-of-the-art models do not issue calibrated forecasts for extreme wind speeds, and that the calibration of forecasts for extreme events can be improved by suitable adaptations to the loss function during model training. This, however, introduces a trade-off between calibrated forecasts for extreme events and calibrated forecasts for more common outcomes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google