Escaping the Sample Trap: Fast and Accurate Epistemic Uncertainty Estimation with Pairwise-Distance Estimators

要約

この研究では、ペアワイズ距離推定器 (PaiDE) を使用した、アンサンブル モデルの認識論的不確実性推定のための新しいアプローチを紹介します。
これらの推定器は、モデル コンポーネント間のペアワイズ距離を利用してエントロピーの境界を確立し、その境界を情報ベースの基準の推定値として使用します。
サンプルベースのモンテカルロ推定量に依存する認識論的不確実性推定のための最近の深層学習手法とは異なり、PaiDE は、より広い空間 (最大 100$\times$) にわたって認識論的不確実性を最大 100$\times$ 高速に推定できます。
高次元でより正確に実行できます。
私たちのアプローチを検証するために、認識論的不確実性推定の評価に一般的に使用される一連の実験、つまり 1D 正弦波データ、Pendulum-v0、Hopper-v2、Ant-v2、Humanoid-v2 を実施しました。
各実験設定に対して、認識論的不確実性推定における PaiDE の利点を実証するために、アクティブ ラーニング フレームワークが適用されました。

要約(オリジナル)

This work introduces a novel approach for epistemic uncertainty estimation for ensemble models using pairwise-distance estimators (PaiDEs). These estimators utilize the pairwise-distance between model components to establish bounds on entropy and uses said bounds as estimates for information-based criterion. Unlike recent deep learning methods for epistemic uncertainty estimation, which rely on sample-based Monte Carlo estimators, PaiDEs are able to estimate epistemic uncertainty up to 100$\times$ faster, over a larger space (up to 100$\times$) and perform more accurately in higher dimensions. To validate our approach, we conducted a series of experiments commonly used to evaluate epistemic uncertainty estimation: 1D sinusoidal data, Pendulum-v0, Hopper-v2, Ant-v2 and Humanoid-v2. For each experimental setting, an Active Learning framework was applied to demonstrate the advantages of PaiDEs for epistemic uncertainty estimation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google