Universal Novelty Detection Through Adaptive Contrastive Learning

要約

新規性の検出は、オープンワールドに機械学習モデルを展開するための重要なタスクです。
新規性検出方法の重要な特性は普遍性であり、これはトレーニング データまたはテスト データのさまざまな分布にわたる一般化として解釈できます。
より正確には、新規性検出の場合、トレーニング セットまたはテスト セットで分布のシフトが発生する可能性があります。
トレーニング セットのシフトとは、新しいデータセットでノベルティ検出器をトレーニングし、強力な移行性が期待されるケースを指します。
逆に、テスト セット内の分布のシフトは、トレーニングされたモデルがシフトされたテスト サンプルに遭遇したときのメソッドのパフォーマンスを示します。
我々は、既存の手法が普遍性の維持に困難を抱えていることを実験的に示しており、これは厳格な帰納的バイアスに起因しています。
これを動機として、私たちはより適応性のある帰納的バイアスを備えた、より一般化された手法を目指しています。
これに関連して、我々は、対照学習が、ネガティブペアを形成する際の増強の適切な選択を通じて、新しい帰納的バイアスを簡単に切り替えて適応させるための効率的なフレームワークを提供するという事実を活用します。
我々は、普遍的な新規性検出法を生み出すために、対照学習とともに、新しい確率的オートネガティブペア生成法 AutoAugOOD を提案します。
私たちの実験は、さまざまな画像ベンチマーク データセットのさまざまな分布シフトの下でのこの方法の優位性を示しています。
特に、私たちの方法は、1クラス、ラベルなしマルチクラス、ラベル付きマルチクラス設定を含む、新規性検出のさまざまな設定への適応性という観点から普遍性を発揮します。
コード: https://github.com/mojtaba-nafez/UNODE

要約(オリジナル)

Novelty detection is a critical task for deploying machine learning models in the open world. A crucial property of novelty detection methods is universality, which can be interpreted as generalization across various distributions of training or test data. More precisely, for novelty detection, distribution shifts may occur in the training set or the test set. Shifts in the training set refer to cases where we train a novelty detector on a new dataset and expect strong transferability. Conversely, distribution shifts in the test set indicate the methods’ performance when the trained model encounters a shifted test sample. We experimentally show that existing methods falter in maintaining universality, which stems from their rigid inductive biases. Motivated by this, we aim for more generalized techniques that have more adaptable inductive biases. In this context, we leverage the fact that contrastive learning provides an efficient framework to easily switch and adapt to new inductive biases through the proper choice of augmentations in forming the negative pairs. We propose a novel probabilistic auto-negative pair generation method AutoAugOOD, along with contrastive learning, to yield a universal novelty detector method. Our experiments demonstrate the superiority of our method under different distribution shifts in various image benchmark datasets. Notably, our method emerges universality in the lens of adaptability to different setups of novelty detection, including one-class, unlabeled multi-class, and labeled multi-class settings. Code: https://github.com/mojtaba-nafez/UNODE

arxiv情報

提供元, 利用サービス

arxiv.jp, Google