Model Selection of Zero-shot Anomaly Detectors in the Absence of Labeled Validation Data

要約

異常検出には、ラベルのない大規模なデータセット内の異常なサンプルを検出する必要があります。
ディープラーニングの進歩と基礎モデルの出現により、強力なゼロショット異常検出手法が生み出されましたが、実際の展開は、ラベル付きデータの欠如によって妨げられることがよくあります。ラベル付けされたデータがなければ、検出パフォーマンスを信頼性高く評価することはできません。
この研究では、生成された合成検証セットを使用して画像ベースの異常検出器を選択するための汎用フレームワークである SWSA (Selection With Synthetic Anomalies) を提案します。
私たちが提案する異常生成方法は、通常の画像の少数のサポート セットのみへのアクセスを前提としており、トレーニングや微調整を必要としません。
生成された合成検証セットは、モデル選択のための検証フレームワークを構成する検出タスクを作成するために使用されます。
実証研究では、SWSA がグラウンドトゥルース検証セットで行われた選択と一致するモデルを選択することが多く、その結果、ベースライン手法よりも高い AUROC が得られることがわかりました。
また、SWSA は、困難な MVTec-AD および VisA データセットを含むすべてのデータセットで、ベースライン プロンプト選択戦略よりも優れた CLIP ベースの異常検出用プロンプトを選択していることもわかりました。

要約(オリジナル)

Anomaly detection requires detecting abnormal samples in large unlabeled datasets. While progress in deep learning and the advent of foundation models has produced powerful zero-shot anomaly detection methods, their deployment in practice is often hindered by the lack of labeled data — without it, their detection performance cannot be evaluated reliably. In this work, we propose SWSA (Selection With Synthetic Anomalies): a general-purpose framework to select image-based anomaly detectors with a generated synthetic validation set. Our proposed anomaly generation method assumes access to only a small support set of normal images and requires no training or fine-tuning. Once generated, our synthetic validation set is used to create detection tasks that compose a validation framework for model selection. In an empirical study, we find that SWSA often selects models that match selections made with a ground-truth validation set, resulting in higher AUROCs than baseline methods. We also find that SWSA selects prompts for CLIP-based anomaly detection that outperform baseline prompt selection strategies on all datasets, including the challenging MVTec-AD and VisA datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google