Error-Driven Uncertainty Aware Training

要約

ニューラル ネットワークは予測について過信することが多く、そのため信頼性と信頼性が損なわれます。
この研究では、エラー駆動の不確実性認識トレーニング (EUAT) と呼ばれる新しい手法を紹介します。これは、ニューラル モデルの不確実性を正しく推定する能力を強化することを目的としています。つまり、不正確な予測を出力する場合は不確実性が高く、予測が不正確な場合は不確実性が低くなります。
彼らの出力は正確です。
EUAT アプローチは、トレーニング例がモデルによって正しく予測されるか誤って予測されるかに応じて 2 つの損失関数を選択的に採用することにより、モデルのトレーニング段階で動作します。
これにより、モデルの誤予測率を維持しながら、i) 正しく予測された入力に対するモデルの不確実性を最小限に抑える、ii) 誤予測された入力に対する不確実性を最大化するという 2 つの目標を追求することが可能になります。
私たちは、非敵対的設定と敵対的設定の両方を考慮して、画像認識ドメインの多様なニューラル モデルとデータセットを使用して EUAT を評価します。
結果は、EUAT が、統計的指標 (残差との相関など) を介して評価した場合に品質が高いだけでなく、不確実性推定を提供することにより、不確実性推定に対する既存のアプローチ (他の不確実性を意識したトレーニング手法、キャリブレーション、アンサンブル、DEUP を含む) よりも優れていることを示しています。
また、モデルの出力が信頼できるかどうかを決定するバイナリ分類器を構築するために使用される場合や、分布データのシフトの下でも使用されます。

要約(オリジナル)

Neural networks are often overconfident about their predictions, which undermines their reliability and trustworthiness. In this work, we present a novel technique, named Error-Driven Uncertainty Aware Training (EUAT), which aims to enhance the ability of neural models to estimate their uncertainty correctly, namely to be highly uncertain when they output inaccurate predictions and low uncertain when their output is accurate. The EUAT approach operates during the model’s training phase by selectively employing two loss functions depending on whether the training examples are correctly or incorrectly predicted by the model. This allows for pursuing the twofold goal of i) minimizing model uncertainty for correctly predicted inputs and ii) maximizing uncertainty for mispredicted inputs, while preserving the model’s misprediction rate. We evaluate EUAT using diverse neural models and datasets in the image recognition domains considering both non-adversarial and adversarial settings. The results show that EUAT outperforms existing approaches for uncertainty estimation (including other uncertainty-aware training techniques, calibration, ensembles, and DEUP) by providing uncertainty estimates that not only have higher quality when evaluated via statistical metrics (e.g., correlation with residuals) but also when employed to build binary classifiers that decide whether the model’s output can be trusted or not and under distributional data shifts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google