Model Selection of Anomaly Detectors in the Absence of Labeled Validation Data

要約

異常検出には、ラベルのない大規模なデータセット内の異常なサンプルを検出する必要があります。
深層学習の進歩と基礎モデルの出現により、強力な教師なし異常検出手法が生み出されましたが、実際の展開は、ラベル付きデータの欠如によって妨げられることがよくあります。データがなければ、異常検出器の検出精度を確実に評価できません。
この研究では、合成的に生成された検証データを使用して画像ベースの異常検出器を評価するための汎用フレームワークを提案します。
私たちの方法は、合成異常を生成するために、事前にトレーニングされた拡散モデル（私たちが提案する方法はトレーニングや微調整を必要としません）で処理される通常画像の小さなサポートセットへのアクセスを前提としています。
サポート セットの正常なサンプルと混合すると、合成異常は、異常検出の評価とモデルの選択のための検証フレームワークを構成する検出タスクを作成します。
自然画像から産業アプリケーションに至るまでの広範な実証研究で、合成検証フレームワークがグラウンドトゥルース検証セットでの選択と同じモデルとハイパーパラメーターを選択することがわかりました。
さらに、CLIP ベースの異常検出のための私たちの方法によって選択されたプロンプトは、他のすべてのプロンプト選択戦略よりも優れており、困難な MVTec-AD データセットであっても、全体的に最高の検出精度につながることがわかりました。

要約(オリジナル)

Anomaly detection requires detecting abnormal samples in large unlabeled datasets. While progress in deep learning and the advent of foundation models has produced powerful unsupervised anomaly detection methods, their deployment in practice is often hindered by the lack of labeled data — without it, the detection accuracy of an anomaly detector cannot be evaluated reliably. In this work, we propose a general-purpose framework for evaluating image-based anomaly detectors with synthetically generated validation data. Our method assumes access to a small support set of normal images which are processed with a pre-trained diffusion model (our proposed method requires no training or fine-tuning) to produce synthetic anomalies. When mixed with normal samples from the support set, the synthetic anomalies create detection tasks that compose a validation framework for anomaly detection evaluation and model selection. In an extensive empirical study, ranging from natural images to industrial applications, we find that our synthetic validation framework selects the same models and hyper-parameters as selection with a ground-truth validation set. In addition, we find that prompts selected by our method for CLIP-based anomaly detection outperforms all other prompt selection strategies, and leads to the overall best detection accuracy, even on the challenging MVTec-AD dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google