Multimodal Industrial Anomaly Detection by Crossmodal Feature Mapping

要約

この論文では、点群と RGB 画像を利用して異常の位置を特定する、産業用マルチモーダル異常検出 (AD) タスクについて説明します。
公称サンプル上で 1 つのモダリティから別のモダリティに特徴をマッピングすることを学習する、新しい軽量で高速なフレームワークを紹介します。
テスト時に、観察された特徴とマッピングされた特徴の間の不一致を正確に特定することにより、異常が検出されます。
広範な実験の結果、私たちのアプローチは、MVTec 3D-AD データセットの標準設定と少数ショット設定の両方で最先端の検出およびセグメンテーションのパフォーマンスを達成しながら、以前のマルチモーダル AD 手法よりも高速な推論を達成し、占有メモリを少なくできることが示されました。
さらに、パフォーマンスをわずかに犠牲にしてメモリと時間の効率を向上させるレイヤープルーニング手法を提案します。

要約(オリジナル)

The paper explores the industrial multimodal Anomaly Detection (AD) task, which exploits point clouds and RGB images to localize anomalies. We introduce a novel light and fast framework that learns to map features from one modality to the other on nominal samples. At test time, anomalies are detected by pinpointing inconsistencies between observed and mapped features. Extensive experiments show that our approach achieves state-of-the-art detection and segmentation performance in both the standard and few-shot settings on the MVTec 3D-AD dataset while achieving faster inference and occupying less memory than previous multimodal AD methods. Moreover, we propose a layer-pruning technique to improve memory and time efficiency with a marginal sacrifice in performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google