A Novel Data Augmentation Technique for Out-of-Distribution Sample Detection using Compounded Corruptions

要約

最新のディープニューラルネットワークモデルは、分布外（OOD）テストデータを誤って分布内（ID）トレーニングクラスの1つに高い信頼性で分類することが知られています。
これは、セーフティクリティカルなアプリケーションに悲惨な結果をもたらす可能性があります。
一般的な緩和戦略は、テスト時にそのようなOODサンプルを検出できる別の分類器をトレーニングすることです。
ほとんどの実際の設定では、OODの例はトレーニング時に知られていないため、重要な質問は、そのようなOOD検出器をトレーニングするために合成OODサンプルでIDデータをどのように拡張するかです。
この論文では、CnCと呼ばれるOODデータ拡張のための新しい複合破損技術を提案します。
CnCの主な利点の1つは、トレーニングセット以外のホールドアウトデータを必要としないことです。
さらに、現在の最先端（SOTA）手法とは異なり、CnCはテスト時にバックプロパゲーションやアンサンブルを必要としないため、推論がはるかに高速になります。
過去4年間の主要な会議の20の方法との広範な比較は、CnCベースのデータ拡張を使用してトレーニングされたモデルが、OOD検出精度と推論時間の両方の点でSOTAを大幅に上回っていることを示しています。
私たちの方法が成功した理由を調査し、CnCサンプルのより高い相対エントロピーと多様性を考えられる原因として特定するために、詳細な事後分析を含めます。
また、2次元データセットの区分的分解分析を介して理論的洞察を提供し、私たちのアプローチがIDクラスの境界を狭め、OODサンプルの検出を向上させることを（視覚的および定量的に）明らかにします。
ソースコードリンク：https：//github.com/cnc-ood

要約(オリジナル)

Modern deep neural network models are known to erroneously classify out-of-distribution (OOD) test data into one of the in-distribution (ID) training classes with high confidence. This can have disastrous consequences for safety-critical applications. A popular mitigation strategy is to train a separate classifier that can detect such OOD samples at the test time. In most practical settings OOD examples are not known at the train time, and hence a key question is: how to augment the ID data with synthetic OOD samples for training such an OOD detector? In this paper, we propose a novel Compounded Corruption technique for the OOD data augmentation termed CnC. One of the major advantages of CnC is that it does not require any hold-out data apart from the training set. Further, unlike current state-of-the-art (SOTA) techniques, CnC does not require backpropagation or ensembling at the test time, making our method much faster at inference. Our extensive comparison with 20 methods from the major conferences in last 4 years show that a model trained using CnC based data augmentation, significantly outperforms SOTA, both in terms of OOD detection accuracy as well as inference time. We include a detailed post-hoc analysis to investigate the reasons for the success of our method and identify higher relative entropy and diversity of CnC samples as probable causes. We also provide theoretical insights via a piece-wise decomposition analysis on a two-dimensional dataset to reveal (visually and quantitatively) that our approach leads to a tighter boundary around ID classes, leading to better detection of OOD samples. Source code link: https://github.com/cnc-ood

arxiv情報

提供元, 利用サービス

arxiv.jp, Google