Large Class Separation is not what you need for Relational Reasoning-based OOD Detection

要約

標準的な認識アプローチでは、テスト時に新しいカテゴリを処理できません。
既知のクラスに対する過信により、医療や自動運転などの安全性が重要なアプリケーションでは予測の信頼性が低くなります。
配信外 (OOD) 検出方法は、意味上の新規性を識別することで解決策を提供します。
これらの方法のほとんどは、既知のデータに対する学習ステージを利用します。これは、正規性の概念を捉えるためにモデルをトレーニング (または微調整) することを意味します。
このプロセスは明らかに利用可能なサンプルの量に影響され、オンボード システムでは計算コストが高くなる可能性があります。
実行可能な代替案は、さらなる学習努力を行わずに、大規模な事前トレーニング済みモデルによって生成される埋め込み空間の類似性を評価することです。
私たちは、このような微調整不要の OOD 検出設定に重点を置いています。
この研究では、最近導入された関係推論の事前トレーニングの詳細な分析を示し、学習された埋め込みの特性を調査し、クラス間の特徴距離と OOD 検出精度の間に相関関係が存在することを強調しています。
クラス分離は選択した事前トレーニング目的に依存するため、クラス間のマージンを制御するための代替損失関数を提案し、徹底的な実験によってその利点を示します。

要約(オリジナル)

Standard recognition approaches are unable to deal with novel categories at test time. Their overconfidence on the known classes makes the predictions unreliable for safety-critical applications such as healthcare or autonomous driving. Out-Of-Distribution (OOD) detection methods provide a solution by identifying semantic novelty. Most of these methods leverage a learning stage on the known data, which means training (or fine-tuning) a model to capture the concept of normality. This process is clearly sensitive to the amount of available samples and might be computationally expensive for on-board systems. A viable alternative is that of evaluating similarities in the embedding space produced by large pre-trained models without any further learning effort. We focus exactly on such a fine-tuning-free OOD detection setting. This works presents an in-depth analysis of the recently introduced relational reasoning pre-training and investigates the properties of the learned embedding, highlighting the existence of a correlation between the inter-class feature distance and the OOD detection accuracy. As the class separation depends on the chosen pre-training objective, we propose an alternative loss function to control the inter-class margin, and we show its advantage with thorough experiments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google