DiffGuard: Semantic Mismatch-Guided Out-of-Distribution Detection using Pre-trained Diffusion Models

要約

分類子が与えられた場合、セマンティックな配布外 (OOD) サンプルの固有の特性は、その内容がセマンティクスの点ですべての正当なクラスと異なること、つまりセマンティクスの不一致です。
これを OOD 検出に直接適用する最近の研究があります。これは、条件付き敵対的生成ネットワーク (cGAN) を使用して、画像空間内の意味の不一致を拡大します。
小規模なデータセットでは顕著な OOD 検出パフォーマンスを達成しますが、入力画像とラベルの両方を条件として cGAN をトレーニングするのは難しいため、ImageNet スケールのデータセットには適用できません。
拡散モデルは cGAN と比較してトレーニングがはるかに簡単で、さまざまな条件に適しているため、この研究では、DiffGuard という名前のセマンティック不一致に基づく OOD 検出に事前トレーニング済みの拡散モデルを直接使用することを提案します。
具体的には、OOD 入力画像と分類器からの予測ラベルが与えられた場合、これらの条件下で再構成された OOD 画像と元の入力画像の間の意味上の違いを拡大しようとします。
また、そのような違いをさらに強化するためのいくつかのテスト時のテクニックも紹介します。
実験結果では、DiffGuard が Cifar-10 と大規模 ImageNet のハードケースの両方に効果的であり、既存の OOD 検出技術と簡単に組み合わせて最先端の OOD 検出結果を達成できることが示されています。

要約(オリジナル)

Given a classifier, the inherent property of semantic Out-of-Distribution (OOD) samples is that their contents differ from all legal classes in terms of semantics, namely semantic mismatch. There is a recent work that directly applies it to OOD detection, which employs a conditional Generative Adversarial Network (cGAN) to enlarge semantic mismatch in the image space. While achieving remarkable OOD detection performance on small datasets, it is not applicable to ImageNet-scale datasets due to the difficulty in training cGANs with both input images and labels as conditions. As diffusion models are much easier to train and amenable to various conditions compared to cGANs, in this work, we propose to directly use pre-trained diffusion models for semantic mismatch-guided OOD detection, named DiffGuard. Specifically, given an OOD input image and the predicted label from the classifier, we try to enlarge the semantic difference between the reconstructed OOD image under these conditions and the original input image. We also present several test-time techniques to further strengthen such differences. Experimental results show that DiffGuard is effective on both Cifar-10 and hard cases of the large-scale ImageNet, and it can be easily combined with existing OOD detection techniques to achieve state-of-the-art OOD detection results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google