Anomaly Detection by Adapting a pre-trained Vision Language Model

要約

最近、大規模なビジョンおよび言語モデルが、多くの下流タスクに適応した場合に成功することが示されています。
このペーパーでは、事前トレーニングされた CLIP モデルを適応させて異常を検出するための CLIP-ADA という名前の統合フレームワークを紹介します。
この目的を達成するために、私たちは 2 つの重要な改善を行いました。 1) 複数のカテゴリの産業用画像にわたる統一された異常検出を取得するために、学習可能なプロンプトを導入し、自己教師あり学習を通じてそれを異常パターンと関連付けることを提案します。
2) CLIP の表現力を最大限に活用するために、位置特定の品質を洗練するための異常領域洗練戦略を導入します。
テスト中に、学習可能なプロンプトの表現と画像の間の類似性を直接計算することにより、異常の位置が特定されます。
包括的な実験により、当社のフレームワークの優位性が実証されています。たとえば、異常の検出と位置特定に関して、MVTec-AD および VisA で最先端の 97.5/55.6 および 89.3/33.1 を達成しています。
さらに、提案された方法は、より困難な限界トレーニング データでも有望なパフォーマンスを達成します。

要約(オリジナル)

Recently, large vision and language models have shown their success when adapting them to many downstream tasks. In this paper, we present a unified framework named CLIP-ADA for Anomaly Detection by Adapting a pre-trained CLIP model. To this end, we make two important improvements: 1) To acquire unified anomaly detection across industrial images of multiple categories, we introduce the learnable prompt and propose to associate it with abnormal patterns through self-supervised learning. 2) To fully exploit the representation power of CLIP, we introduce an anomaly region refinement strategy to refine the localization quality. During testing, the anomalies are localized by directly calculating the similarity between the representation of the learnable prompt and the image. Comprehensive experiments demonstrate the superiority of our framework, e.g., we achieve the state-of-the-art 97.5/55.6 and 89.3/33.1 on MVTec-AD and VisA for anomaly detection and localization. In addition, the proposed method also achieves encouraging performance with marginal training data, which is more challenging.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google