Zero-Shot Anomaly Detection with Pre-trained Segmentation Models

要約

この技術レポートでは、Visual Anomaly and Novelty Detection (VAND) 2023 Challenge のゼロショット トラックへの提出の概要を説明します。
WINCLIP フレームワークのパフォーマンスを基盤として、ゼロショット セグメンテーション モデルを統合することでシステムの位置特定機能を強化することを目指しています。
さらに、前景インスタンスのセグメンテーションを実行することで、モデルが画像の関連部分に焦点を当てることができるため、モデルが小さな偏差や微妙な偏差をより適切に識別できるようになります。
私たちのパイプラインは外部のデータや情報を必要としないため、新しいデータセットに直接適用できます。
私たちのチーム (Variance Vigilance Vanguard) は、VAND チャレンジのゼロショット トラックで 3 位にランクされ、VisA データセットのサンプル/ピクセル レベルで平均 F1-max スコア 81.5/24.2 を達成しました。

要約(オリジナル)

This technical report outlines our submission to the zero-shot track of the Visual Anomaly and Novelty Detection (VAND) 2023 Challenge. Building on the performance of the WINCLIP framework, we aim to enhance the system’s localization capabilities by integrating zero-shot segmentation models. In addition, we perform foreground instance segmentation which enables the model to focus on the relevant parts of the image, thus allowing the models to better identify small or subtle deviations. Our pipeline requires no external data or information, allowing for it to be directly applied to new datasets. Our team (Variance Vigilance Vanguard) ranked third in the zero-shot track of the VAND challenge, and achieve an average F1-max score of 81.5/24.2 at a sample/pixel level on the VisA dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google