A Zero-/Few-Shot Anomaly Classification and Segmentation Method for CVPR 2023 VAND Workshop Challenge Tracks 1&2: 1st Place on Zero-shot AD and 4th Place on Few-shot AD

要約

この技術レポートでは、Visual Anomaly and Novelty Detection (VAND) 2023 チャレンジのゼロ/フューショット トラック向けのソリューションを簡単に紹介します。
工業用外観検査では、通常の参照画像を使用せず、または少数の通常の参照画像のみを使用して、多数のカテゴリに迅速に適応できる単一モデルを構築することが、有望な研究の方向性となります。
これは主に、製品の種類が非常に多様であるためです。
ゼロショット トラックの場合、追加の線形レイヤーを追加することにより、CLIP モデルに基づくソリューションを提案します。
これらのレイヤーは、画像特徴を結合埋め込み空間にマッピングするために使用され、テキスト特徴と比較して異常マップを生成できるようになります。
さらに、参照画像が利用可能な場合は、複数のメモリ バンクを利用してその特徴を保存し、テスト段階でそれらをテスト画像の特徴と比較します。
このチャレンジでは、私たちの手法がゼロショット トラックで 1 位を獲得し、特にセグメンテーションで優れており、2 位の参加者よりも 0.0489 という印象的な F1 スコア向上を達成しました。
さらに、ショット数の少ないトラックでは、F1クラス分けスコア0.8687で全参加チーム中1位となり、総合4位を獲得しました。

要約(オリジナル)

In this technical report, we briefly introduce our solution for the Zero/Few-shot Track of the Visual Anomaly and Novelty Detection (VAND) 2023 Challenge. For industrial visual inspection, building a single model that can be rapidly adapted to numerous categories without or with only a few normal reference images is a promising research direction. This is primarily because of the vast variety of the product types. For the zero-shot track, we propose a solution based on the CLIP model by adding extra linear layers. These layers are used to map the image features to the joint embedding space, so that they can compare with the text features to generate the anomaly maps. Besides, when the reference images are available, we utilize multiple memory banks to store their features and compare them with the features of the test images during the testing phase. In this challenge, our method achieved first place in the zero-shot track, especially excelling in segmentation with an impressive F1 score improvement of 0.0489 over the second-ranked participant. Furthermore, in the few-shot track, we secured the fourth position overall, with our classification F1 score of 0.8687 ranking first among all participating teams.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google