CLIP-AD: A Language-Guided Staged Dual-Path Model for Zero-shot Anomaly Detection

要約

このペーパーでは、ゼロショット異常検出 (AD) について考察します。これは、テスト オブジェクトの参照画像を使用せずに AD を実行する、貴重ではありますが十分に研究されていないタスクです。
具体的には、言語ガイド戦略を採用し、大規模ビジョン言語モデル CLIP の優れたゼロショット分類機能を活用した、シンプルでありながら効果的なアーキテクチャ CLIP-AD を提案します。
異常セグメンテーションの自然なアイデアは、テキスト/画像の特徴間の類似性を直接計算することですが、結果には反対の予測や無関係なハイライトが観察されます。
この現象に触発されて、さまざまなレベルの機能を効果的に使用し、アーキテクチャと機能の手術を適用してこれらの問題に対処するステージング デュアルパス モデル (SDP) を導入します。
さらに、表面現象を超えて掘り下げ、結合埋め込み空間におけるテキスト/画像特徴の位置ずれから生じる問題を特定します。
そこで、線形層を追加することで微調整戦略を導入し、拡張モデル SDP+ を構築して、パフォーマンスをさらに強化します。
豊富な実験により、我々のアプローチの有効性が実証されています。たとえば、VisA では、SDP は分類/セグメンテーション F1 スコアで SOTA を +1.0/+1.2 上回っており、SDP+ は +1.9/+11.7 の改善を達成しています。

要約(オリジナル)

This paper considers zero-shot Anomaly Detection (AD), a valuable yet under-studied task, which performs AD without any reference images of the test objects. Specifically, we employ a language-guided strategy and propose a simple-yet-effective architecture CLIP-AD, leveraging the superior zero-shot classification capabilities of the large vision-language model CLIP. A natural idea for anomaly segmentation is to directly calculate the similarity between text/image features, but we observe opposite predictions and irrelevant highlights in the results. Inspired by the phenomena, we introduce a Staged Dual-Path model (SDP) that effectively uses features from various levels and applies architecture and feature surgery to address these issues. Furthermore, delving beyond surface phenomena, we identify the problem arising from misalignment of text/image features in the joint embedding space. Thus, we introduce a fine-tuning strategy by adding linear layers and construct an extended model SDP+, further enhancing the performance. Abundant experiments demonstrate the effectiveness of our approach, e.g., on VisA, SDP outperforms SOTA by +1.0/+1.2 in classification/segmentation F1 scores, while SDP+ achieves +1.9/+11.7 improvements.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google