Gradient-Regularized Out-of-Distribution Detection

要約

実際のアプリケーションにおけるニューラル ネットワークの課題の 1 つは、データが元のトレーニング分布からのものではない場合に、これらのモデルが自信過剰でエラーを起こすことです。
この問題に対処することは、配布外 (OOD) 検出として知られています。
多くの最先端の OOD メソッドは、トレーニング中に OOD データの代理として補助データセットを使用して、パフォーマンスの向上を実現します。
ただし、これらの方法では、補助データセットに埋め込まれたローカル情報を十分に活用できません。
この研究では、トレーニング中に損失関数の勾配に埋め込まれた情報を活用して、ネットワークが各サンプルの望ましい OOD スコアを学習するだけでなく、各サンプルの周囲の局所的な近傍で同様の動作を示すことができるようにするというアイデアを提案します。
。
また、トレーニング段階でネットワークがより有益な OOD サンプルにさらされることを可能にする、新しいエネルギーベースのサンプリング方法も開発しました。
これは、補助データセットが大きい場合に特に重要です。
私たちは、いくつかの OOD ベンチマークでの広範な実験を通じてこの方法の有効性を実証し、ImageNet 実験で既存の最先端の FPR95 を 4% 改善しました。
さらに、認定された堅牢性とリプシッツ分析のレンズを通した理論分析を提供し、私たちの研究の理論的基盤を示します。
レビュープロセス後にコードを公開します。

要約(オリジナル)

One of the challenges for neural networks in real-life applications is the overconfident errors these models make when the data is not from the original training distribution. Addressing this issue is known as Out-of-Distribution (OOD) detection. Many state-of-the-art OOD methods employ an auxiliary dataset as a surrogate for OOD data during training to achieve improved performance. However, these methods fail to fully exploit the local information embedded in the auxiliary dataset. In this work, we propose the idea of leveraging the information embedded in the gradient of the loss function during training to enable the network to not only learn a desired OOD score for each sample but also to exhibit similar behavior in a local neighborhood around each sample. We also develop a novel energy-based sampling method to allow the network to be exposed to more informative OOD samples during the training phase. This is especially important when the auxiliary dataset is large. We demonstrate the effectiveness of our method through extensive experiments on several OOD benchmarks, improving the existing state-of-the-art FPR95 by 4% on our ImageNet experiment. We further provide a theoretical analysis through the lens of certified robustness and Lipschitz analysis to showcase the theoretical foundation of our work. We will publicly release our code after the review process.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google