Augmenting Softmax Information for Selective Classification with Out-of-Distribution Data

要約

分布外 (OOD) データの検出は、コンピューター ビジョンのディープ ラーニングの分野でますます注目を集めているタスクです。
ただし、検出方法のパフォーマンスは、潜在的なダウンストリーム タスクを連携して考慮するのではなく、通常、タスクを個別に評価します。
この作業では、OOD データ (SCOD) の存在下での選択的分類を調べます。
つまり、OOD サンプルを検出する動機は、それらを拒否することであり、予測の質への影響が軽減されます。
このタスク仕様の下で、既存の事後メソッドは、OOD 検出のみで評価された場合とはまったく異なるパフォーマンスを示すことを示します。
これは、ID データが誤分類される場合に、配布内 (ID) データを OOD データと混同することがもはや問題にならないためです。
ただし、ID データ内での正しい予測と誤った予測の混同は望ましくありません。
また、SCOD の新しい方法である Softmax Information Retaining Combination (SIRC) も提案します。これは、正しい ID 予測と正しくない ID 予測の分離を犠牲にすることなく OOD サンプルを識別する能力が向上するように、softmax ベースの信頼スコアを機能に依存しない情報で補強します。
さまざまな ImageNet 規模のデータセットと畳み込みニューラル ネットワーク アーキテクチャに関する実験では、SIRC が一貫して SCOD のベースラインに一致するか、それを上回るパフォーマンスを発揮できることが示されていますが、既存の OOD 検出方法ではそうはなりません。

要約(オリジナル)

Detecting out-of-distribution (OOD) data is a task that is receiving an increasing amount of research attention in the domain of deep learning for computer vision. However, the performance of detection methods is generally evaluated on the task in isolation, rather than also considering potential downstream tasks in tandem. In this work, we examine selective classification in the presence of OOD data (SCOD). That is to say, the motivation for detecting OOD samples is to reject them so their impact on the quality of predictions is reduced. We show under this task specification, that existing post-hoc methods perform quite differently compared to when evaluated only on OOD detection. This is because it is no longer an issue to conflate in-distribution (ID) data with OOD data if the ID data is going to be misclassified. However, the conflation within ID data of correct and incorrect predictions becomes undesirable. We also propose a novel method for SCOD, Softmax Information Retaining Combination (SIRC), that augments softmax-based confidence scores with feature-agnostic information such that their ability to identify OOD samples is improved without sacrificing separation between correct and incorrect ID predictions. Experiments on a wide variety of ImageNet-scale datasets and convolutional neural network architectures show that SIRC is able to consistently match or outperform the baseline for SCOD, whilst existing OOD detection methods fail to do so.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google