WinCLIP: Zero-/Few-Shot Anomaly Classification and Segmentation

要約

視覚的な異常の分類とセグメンテーションは、工業品質検査の自動化に不可欠です。
この分野での先行研究の焦点は、タスク固有の画像と注釈を必要とする各品質検査タスクのカスタム モデルをトレーニングすることでした。
このホワイト ペーパーでは、この体制から離れて、ゼロ ショットおよび少数のノーマル ショット異常の分類とセグメンテーションに対処します。
最近、ビジョン言語モデルである CLIP は、完全な監督と比較して、競争力のあるゼロ/少数ショットのパフォーマンスを備えた革新的な一般性を示しています。
しかし、CLIP は、異常の分類とセグメンテーションのタスクでは不十分です。
したがって、(1) 状態語とプロンプト テンプレートの合成アンサンブル、および (2) テキストに合わせたウィンドウ/パッチ/画像レベルの機能の効率的な抽出と集約を備えたウィンドウ ベースの CLIP (WinCLIP) を提案します。
また、通常の画像からの補完的な情報を使用する、少数の通常ショットの拡張機能である WinCLIP+ も提案します。
MVTec-AD (および VisA) では、それ以上のチューニングを行わなくても、WinCLIP+ は 93.1%/95.2% (83.8%/96.4%) であるのに対し、WinCLIP はゼロ ショット異常分類とセグメンテーションで 91.8%/85.1% (78.1%/79.6%) AUROC を達成します。
) 1 ノーマル ショットで、最新技術を大幅に凌駕します。

要約(オリジナル)

Visual anomaly classification and segmentation are vital for automating industrial quality inspection. The focus of prior research in the field has been on training custom models for each quality inspection task, which requires task-specific images and annotation. In this paper we move away from this regime, addressing zero-shot and few-normal-shot anomaly classification and segmentation. Recently CLIP, a vision-language model, has shown revolutionary generality with competitive zero-/few-shot performance in comparison to full-supervision. But CLIP falls short on anomaly classification and segmentation tasks. Hence, we propose window-based CLIP (WinCLIP) with (1) a compositional ensemble on state words and prompt templates and (2) efficient extraction and aggregation of window/patch/image-level features aligned with text. We also propose its few-normal-shot extension WinCLIP+, which uses complementary information from normal images. In MVTec-AD (and VisA), without further tuning, WinCLIP achieves 91.8%/85.1% (78.1%/79.6%) AUROC in zero-shot anomaly classification and segmentation while WinCLIP+ does 93.1%/95.2% (83.8%/96.4%) in 1-normal-shot, surpassing state-of-the-art by large margins.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google