Out-of-Distribution Detection & Applications With Ablated Learned Temperature Energy

要約

ディープ ニューラル ネットワークが一か八かの分野で採用されるようになるにつれ、推論入力が分布外 (OOD) になる時期を特定して、信頼性が高くてもパフォーマンスとキャリブレーションが低下する可能性があることをユーザーに警告できるようにすることが重要です。
既存の手法は特に、先験的な OOD 例でのトレーニングを行わずに、学習された温度とエネルギー スコアの 2 つのスコアを使用します。
この論文では、これらの従来の方法を効果的な修正を加えた新しい方法で組み合わせた方法である、アブレーション学習温度エネルギー (略して「AbeT」) を紹介します。
これらの貢献により、AbeT は、トレーニング ネットワークを使用しない最先端技術と比較して、分類 (測定されたすべての ID および OOD データセットの平均) で誤検知率を $95\%$ 真陽性率 (FPR@95) として $35.39\%$ 低下させました。
複数のステージで、またはハイパーパラメータまたはテスト時のバックワードパスが必要です。
さらに、トレーニング時に誤って分類された ID サンプルにさらされることで ID サンプルについてのみ明示的にトレーニングされながら、モデルがどのようにして配信中 (ID) サンプルと OOD サンプルを区別するかを学習するかについての経験的な洞察も提供します。
最後に、オブジェクト検出とセマンティック セグメンテーションでそれぞれ OOD オブジェクトに対応する予測バウンディング ボックスとピクセルを識別する際のこの方法の有効性を示します。オブジェクト検出では AUROC が $5.15\%$ 増加し、FPR@95 は両方とも減少しました。
以前の最先端技術と比較して、セマンティック セグメンテーションでは平均で $41.48\%$ の AUPRC の増加と $34.20\%$ の増加です。

要約(オリジナル)

As deep neural networks become adopted in high-stakes domains, it is crucial to be able to identify when inference inputs are Out-of-Distribution (OOD) so that users can be alerted of likely drops in performance and calibration despite high confidence. Among many others, existing methods use the following two scores to do so without training on any apriori OOD examples: a learned temperature and an energy score. In this paper we introduce Ablated Learned Temperature Energy (or ‘AbeT’ for short), a method which combines these prior methods in novel ways with effective modifications. Due to these contributions, AbeT lowers the False Positive Rate at $95\%$ True Positive Rate (FPR@95) by $35.39\%$ in classification (averaged across all ID and OOD datasets measured) compared to state of the art without training networks in multiple stages or requiring hyperparameters or test-time backward passes. We additionally provide empirical insights as to how our model learns to distinguish between In-Distribution (ID) and OOD samples while only being explicitly trained on ID samples via exposure to misclassified ID examples at training time. Lastly, we show the efficacy of our method in identifying predicted bounding boxes and pixels corresponding to OOD objects in object detection and semantic segmentation, respectively – with an AUROC increase of $5.15\%$ in object detection and both a decrease in FPR@95 of $41.48\%$ and an increase in AUPRC of $34.20\%$ on average in semantic segmentation compared to previous state of the art.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google