ID-like Prompt Learning for Few-Shot Out-of-Distribution Detection

要約

分布外 (OOD) 検出方法では、補助外れ値を利用して OOD サンプルを識別するモデルをトレーニングすることが多く、特に補助外れ値データセットから困難な外れ値を検出して OOD 検出を向上させます。
ただし、配信 (ID) データによく似た最も困難な OOD サンプル、つまり ID に似たサンプルを効果的に区別するには、依然として限界に直面する可能性があります。
この目的を達成するために、ID サンプルの近傍空間から CLIP を使用して ID のような外れ値を発見し、これらの最も困難な OOD サンプルを特定するのに役立つ新しい OOD 検出フレームワークを提案します。
次に、識別された ID のような外れ値を利用して、OOD 検出に CLIP の機能をさらに活用する、即時学習フレームワークが提案されます。
強力な CLIP の恩恵を受け、他の補助的な外れ値データセットを公開することなく、モデルのプロンプトを学習するには少数の ID サンプルのみが必要です。
最も困難な ID のような OOD サンプルに焦点を当て、CLIP の機能をエレガントに活用することにより、私たちの方法は、さまざまな現実世界の画像データセット (たとえば、ImageNet-1k データセットの 4 ショット OOD 検出) で優れた少数ショット学習パフォーマンスを達成します。
、当社の方法は、最先端の方法と比較して、平均 FPR95 を 12.16% 削減し、平均 AUROC を 2.76% 改善します)。

要約(オリジナル)

Out-of-distribution (OOD) detection methods often exploit auxiliary outliers to train model identifying OOD samples, especially discovering challenging outliers from auxiliary outliers dataset to improve OOD detection. However, they may still face limitations in effectively distinguishing between the most challenging OOD samples that are much like in-distribution (ID) data, i.e., ID-like samples. To this end, we propose a novel OOD detection framework that discovers ID-like outliers using CLIP from the vicinity space of the ID samples, thus helping to identify these most challenging OOD samples. Then a prompt learning framework is proposed that utilizes the identified ID-like outliers to further leverage the capabilities of CLIP for OOD detection. Benefiting from the powerful CLIP, we only need a small number of ID samples to learn the prompts of the model without exposing other auxiliary outlier datasets. By focusing on the most challenging ID-like OOD samples and elegantly exploiting the capabilities of CLIP, our method achieves superior few-shot learning performance on various real-world image datasets (e.g., in 4-shot OOD detection on the ImageNet-1k dataset, our method reduces the average FPR95 by 12.16% and improves the average AUROC by 2.76%, compared to state-of-the-art methods).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google