Model Selection of Anomaly Detectors in the Absence of Labeled Validation Data

要約

異常検出は、ラベルのない大規模なデータセット内の異常なサンプルを特定するタスクです。
基礎モデルの出現により、強力なゼロショット異常検出方法が生み出されましたが、実際の展開は、ラベル付きの検証データがないために妨げられることがよくあります。データがなければ、検出パフォーマンスを確実に評価できません。
この研究では、ラベル付き検証データを使用せずに画像ベースの異常検出器を選択するための汎用フレームワークである SWSA (Selection With Synthetic Anomalies) を提案します。
ラベル付きの検証データを収集する代わりに、トレーニングや微調整を行わずに、通常の画像の少数のサポート セットのみを使用して合成異常を生成します。
合成異常は、モデル選択のための検証フレームワークを構成する検出タスクを作成するために使用されます。
実証研究では、3 種類の合成異常と 2 つの選択タスク (画像ベースの異常検出器のモデル選択と CLIP ベースの異常検出のプロンプト選択) を使用して SWSA を評価します。
SWSA は多くの場合、グラウンド トゥルース検証セットで行われた選択に一致するモデルとプロンプトを選択し、ベースラインの選択戦略を上回ります。

要約(オリジナル)

Anomaly detection is the task of identifying abnormal samples in large unlabeled datasets. While the advent of foundation models has produced powerful zero-shot anomaly detection methods, their deployment in practice is often hindered by the absence of labeled validation data — without it, their detection performance cannot be evaluated reliably. In this work, we propose SWSA (Selection With Synthetic Anomalies): a general-purpose framework to select image-based anomaly detectors without labeled validation data. Instead of collecting labeled validation data, we generate synthetic anomalies without any training or fine-tuning, using only a small support set of normal images. Our synthetic anomalies are used to create detection tasks that compose a validation framework for model selection. In an empirical study, we evaluate SWSA with three types of synthetic anomalies and on two selection tasks: model selection of image-based anomaly detectors and prompt selection for CLIP-based anomaly detection. SWSA often selects models and prompts that match selections made with a ground-truth validation set, outperforming baseline selection strategies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google