AnomalyCLIP: Object-agnostic Prompt Learning for Zero-shot Anomaly Detection

要約

ゼロショット異常検出 (ZSAD) では、ターゲット データセット内のトレーニング サンプルなしで異常を検出するには、補助データを使用してトレーニングされた検出モデルが必要です。
これは、データプライバシーなどのさまざまな懸念によりトレーニングデータにアクセスできない場合に重要なタスクですが、前景のオブジェクト、異常な領域、および背景の特徴の出現など、さまざまなドメインにわたる異常にモデルを一般化する必要があるため、困難です。
異なる製品/臓器の欠損/腫瘍など、大きく異なる可能性があります。
CLIP など、最近の大規模な事前トレーニング済み視覚言語モデル (VLM) は、異常検出を含むさまざまな視覚タスクにおいて強力なゼロショット認識能力を実証しています。
ただし、VLM は画像の異常/正常性ではなく、前景オブジェクトのクラス セマンティクスのモデル化に重点を置いているため、ZSAD のパフォーマンスは弱くなります。
このペーパーでは、さまざまなドメインにわたって正確な ZSAD を実現するために CLIP を適応させるための新しいアプローチ、つまり AnomalyCLIP を紹介します。
AnomalyCLIP の重要な洞察は、前景のオブジェクトに関係なく、画像内の一般的な正常性と異常性を捉える、オブジェクトに依存しないテキスト プロンプトを学習することです。
これにより、モデルはオブジェクトのセマンティクスではなく異常な画像領域に焦点を当てることができ、さまざまな種類のオブジェクトに対する一般化された正常性と異常性の認識が可能になります。
17 の実世界の異常検出データセットに対する大規模実験では、AnomalyCLIP が、さまざまな欠陥検査および医療画像ドメインからの非常に多様なクラス セマンティクスのデータセットで異常を検出およびセグメント化する優れたゼロショット パフォーマンスを達成することが示されています。
コードは https://github.com/zqhang/AnomalyCLIP で利用可能になります。

要約(オリジナル)

Zero-shot anomaly detection (ZSAD) requires detection models trained using auxiliary data to detect anomalies without any training sample in a target dataset. It is a crucial task when training data is not accessible due to various concerns, eg, data privacy, yet it is challenging since the models need to generalize to anomalies across different domains where the appearance of foreground objects, abnormal regions, and background features, such as defects/tumors on different products/organs, can vary significantly. Recently large pre-trained vision-language models (VLMs), such as CLIP, have demonstrated strong zero-shot recognition ability in various vision tasks, including anomaly detection. However, their ZSAD performance is weak since the VLMs focus more on modeling the class semantics of the foreground objects rather than the abnormality/normality in the images. In this paper we introduce a novel approach, namely AnomalyCLIP, to adapt CLIP for accurate ZSAD across different domains. The key insight of AnomalyCLIP is to learn object-agnostic text prompts that capture generic normality and abnormality in an image regardless of its foreground objects. This allows our model to focus on the abnormal image regions rather than the object semantics, enabling generalized normality and abnormality recognition on diverse types of objects. Large-scale experiments on 17 real-world anomaly detection datasets show that AnomalyCLIP achieves superior zero-shot performance of detecting and segmenting anomalies in datasets of highly diverse class semantics from various defect inspection and medical imaging domains. Code will be made available at https://github.com/zqhang/AnomalyCLIP.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google