OOD Aware Supervised Contrastive Learning

要約

分布外（OOD）検出は、学習分布から外れたサンプル、すなわち分布内データ（ID）を特定する機械学習モデルを安全に展開するための重要な問題である。ほとんどのOOD研究は、クロスエントロピー（CE）を用いて訓練された分類モデルに焦点を当て、その固有の問題を解決しようとしている。本研究では、Supervised Contrastive (SupCon)訓練で学習された強力な表現を活用し、OODデータに頑健な分類器を学習するための総合的なアプローチを提案する。我々はSupConの損失に2つのコントラスト項を追加して拡張する。最初の項は、補助データ間の類似性に制約を課すことなく、補助的なOOD表現をID表現から遠ざける。2番目の項は、OOD特徴を既存のクラスプロトタイプから遠ざける一方で、ID表現を対応するクラスプロトタイプに近づける。補助的なOODデータが利用できない場合、擬似OOD特徴を効率的に生成するための特徴混合技術を提案する。我々の解決策は単純で効率的であり、閉集合教師付き対照表現学習の自然な拡張として機能する。一般的なベンチマークにおいて、様々なOOD検出手法と比較し、最先端の結果を示す。

要約(オリジナル)

Out-of-Distribution (OOD) detection is a crucial problem for the safe deployment of machine learning models identifying samples that fall outside of the training distribution, i.e. in-distribution data (ID). Most OOD works focus on the classification models trained with Cross Entropy (CE) and attempt to fix its inherent issues. In this work we leverage powerful representation learned with Supervised Contrastive (SupCon) training and propose a holistic approach to learn a classifier robust to OOD data. We extend SupCon loss with two additional contrast terms. The first term pushes auxiliary OOD representations away from ID representations without imposing any constraints on similarities among auxiliary data. The second term pushes OOD features far from the existing class prototypes, while pushing ID representations closer to their corresponding class prototype. When auxiliary OOD data is not available, we propose feature mixing techniques to efficiently generate pseudo-OOD features. Our solution is simple and efficient and acts as a natural extension of the closed-set supervised contrastive representation learning. We compare against different OOD detection methods on the common benchmarks and show state-of-the-art results.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL