CLIPScope: Enhancing Zero-Shot OOD Detection with Bayesian Scoring

要約

配布外 (OOD) サンプルの検出は、機械学習モデルを現実世界に安全に展開するために重要です。
ビジョン言語基盤モデルの最近の進歩により、配布中 (ID) 画像を必要とせずに OOD サンプルを検出できるようになりました。
ただし、これらのゼロショット手法は、検出信頼度スコアリングで ID クラスの可能性を適切に考慮していないため、パフォーマンスが低下することがよくあります。
そこで、ベイジアン事後更新に似た、クラス尤度によってサンプルの信頼スコアを正規化するゼロショット OOD 検出アプローチである CLIPScope を導入します。
さらに、CLIPScope には、大規模な語彙データベースから OOD クラスをマイニングするための新しい戦略が組み込まれています。
OOD サンプルのカバレッジを最大化するために、CLIP 埋め込み距離の観点から ID クラスに最も遠いクラス ラベルと最も近いクラス ラベルを選択します。
当社は広範なアブレーション研究と経験的評価を実施し、さまざまな OOD 検出ベンチマークにわたる CLIPScope の最先端のパフォーマンスを実証しています。

要約(オリジナル)

Detection of out-of-distribution (OOD) samples is crucial for safe real-world deployment of machine learning models. Recent advances in vision language foundation models have made them capable of detecting OOD samples without requiring in-distribution (ID) images. However, these zero-shot methods often underperform as they do not adequately consider ID class likelihoods in their detection confidence scoring. Hence, we introduce CLIPScope, a zero-shot OOD detection approach that normalizes the confidence score of a sample by class likelihoods, akin to a Bayesian posterior update. Furthermore, CLIPScope incorporates a novel strategy to mine OOD classes from a large lexical database. It selects class labels that are farthest and nearest to ID classes in terms of CLIP embedding distance to maximize coverage of OOD samples. We conduct extensive ablation studies and empirical evaluations, demonstrating state of the art performance of CLIPScope across various OOD detection benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google