Three Factors to Improve Out-of-Distribution Detection

要約

分布外 (OOD) 検出の問題では、微調整のための外れ値データとして補助データを使用することで、有望なパフォーマンスが実証されました。
ただし、以前の方法では、分類精度 (ACC) と OOD 検出パフォーマンス (AUROC、FPR、AUPR) の間のトレードオフに悩まされていました。
このトレードオフを改善するために、私たちは 3 つの貢献を行っています。(i) 自己知識蒸留損失を組み込むことで、ネットワークの精度を向上させることができます。
(ii) トレーニング用にセミハー​​ド外れ値データをサンプリングすると、精度への影響を最小限に抑えながら OOD 検出パフォーマンスを向上させることができます。
(iii) 新しい教師あり対比学習の導入により、OOD 検出パフォーマンスとネットワークの精度を同時に向上させることができます。
3 つの要素をすべて組み込むことで、私たちのアプローチは分類と OOD 検出の間のトレードオフに対処し、精度と OOD 検出パフォーマンスの両方を向上させます。
私たちの方法は、両方のパフォーマンス指標において以前のアプローチよりも改善を達成しました。

要約(オリジナル)

In the problem of out-of-distribution (OOD) detection, the usage of auxiliary data as outlier data for fine-tuning has demonstrated encouraging performance. However, previous methods have suffered from a trade-off between classification accuracy (ACC) and OOD detection performance (AUROC, FPR, AUPR). To improve this trade-off, we make three contributions: (i) Incorporating a self-knowledge distillation loss can enhance the accuracy of the network; (ii) Sampling semi-hard outlier data for training can improve OOD detection performance with minimal impact on accuracy; (iii) The introduction of our novel supervised contrastive learning can simultaneously improve OOD detection performance and the accuracy of the network. By incorporating all three factors, our approach enhances both accuracy and OOD detection performance by addressing the trade-off between classification and OOD detection. Our method achieves improvements over previous approaches in both performance metrics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google