HopCast: Calibration of Autoregressive Dynamics Models

要約

深い学習モデルは、多くの場合、微分方程式を使用してモデル化できる動的システムを近似するように訓練されています。
これらのモデルの多くは、一歩先を行くために最適化されています。
このようなアプローチは、予測モデルが深いアンサンブルなどの不確実性を定量化できる場合、校正されたワンステップ予測を生成します。
推論時に、マルチステップの予測は自己網目上で生成されます。自己網目は、較正されたマルチステップ予測を生成するための不確実性伝播方法が必要です。
この作業では、最新のホップフィールドネットワーク（MHN）を使用して、動的システムに近似する決定論的予測因子の誤差を学習する\ HOP {}という名前の代替予測因子保証アプローチを紹介します。
修正器は、自己網目上の任意のタイムステップでのコンテキスト状態に基づいて、予測子の出力の一連のエラーを予測します。
エラーのセットは、不確実性の伝播のないベースラインと比較して、より高い予測精度で、よりシャープで校正された予測間隔を作成します。
キャリブレーションと予測のパフォーマンスは、一連の動的システム全体で評価されます。
この作業は、キャリブレーションエラーに基づいて既存の不確実性伝播方法をベンチマークする最初の作業でもあります。

要約(オリジナル)

Deep learning models are often trained to approximate dynamical systems that can be modeled using differential equations. Many of these models are optimized to predict one step ahead; such approaches produce calibrated one-step predictions if the predictive model can quantify uncertainty, such as Deep Ensembles. At inference time, multi-step predictions are generated via autoregression, which needs a sound uncertainty propagation method to produce calibrated multi-step predictions. This work introduces an alternative Predictor-Corrector approach named \hop{} that uses Modern Hopfield Networks (MHN) to learn the errors of a deterministic Predictor that approximates the dynamical system. The Corrector predicts a set of errors for the Predictor’s output based on a context state at any timestep during autoregression. The set of errors creates sharper and well-calibrated prediction intervals with higher predictive accuracy compared to baselines without uncertainty propagation. The calibration and prediction performances are evaluated across a set of dynamical systems. This work is also the first to benchmark existing uncertainty propagation methods based on calibration errors.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google