Escaping the Sample Trap: Fast and Accurate Epistemic Uncertainty Estimation with Pairwise-Distance Estimators

要約

機械学習では、モデル予測の不確実性を評価する機能は、意思決定、安全性が重要なアプリケーション、およびモデルの一般化可能性にとって非常に重要です。
この研究では、ペアワイズ距離推定器 (PaiDE) を使用した、アンサンブル モデルの認識論的不確実性推定のための新しいアプローチを紹介します。
これらの推定量は、モデル コンポーネント間のペアワイズ距離を利用してエントロピーの境界を確立し、情報ベースの基準の推定値として使用されます。
サンプルベースのモンテカルロ推定量に依存する認識論的不確実性推定のための最近の深層学習手法とは異なり、PaiDE は、より大きな入力空間 (最大 100 倍) にわたって認識論的不確実性を最大 100 倍高速に推定し、より高い精度で実行できます。
寸法。
私たちのアプローチを検証するために、認識論的不確実性推定の評価に一般的に使用される一連の実験を実施しました: 1D 正弦波データ、$\textit{Pendulum-v0}$、$\textit{Hopper-v2}$、$\textit{Ant-v2
}$ と $\textit{Humanoid-v2}$。
各実験設定に対して、認識論的不確実性推定における PaiDE の利点を実証するために、アクティブ ラーニング フレームワークが適用されました。

要約(オリジナル)

In machine learning, the ability to assess uncertainty in model predictions is crucial for decision-making, safety-critical applications, and model generalizability. This work introduces a novel approach for epistemic uncertainty estimation for ensemble models using pairwise-distance estimators (PaiDEs). These estimators utilize the pairwise-distance between model components to establish bounds on entropy, which are then used as estimates for information-based criterion. Unlike recent deep learning methods for epistemic uncertainty estimation, which rely on sample-based Monte Carlo estimators, PaiDEs are able to estimate epistemic uncertainty up to 100 times faster, over a larger input space (up to 100 times) and perform more accurately in higher dimensions. To validate our approach, we conducted a series of experiments commonly used to evaluate epistemic uncertainty estimation: 1D sinusoidal data, $\textit{Pendulum-v0}$, $\textit{Hopper-v2}$, $\textit{Ant-v2}$ and $\textit{Humanoid-v2}$. For each experimental setting, an Active Learning framework was applied to demonstrate the advantages of PaiDEs for epistemic uncertainty estimation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google