Multimodal Industrial Anomaly Detection via Hybrid Fusion

要約

2D ベースの産業異常検出は広く議論されていますが、3D 点群と RGB 画像に基づくマルチモーダル産業異常検出には、まだ多くの未開拓の分野があります。
既存のマルチモーダル産業異常検出方法は、マルチモーダル機能を直接連結するため、機能間に強い障害が発生し、検出性能が損なわれます。
この論文では、ハイブリッド融合スキームを使用した新しいマルチモーダル異常検出方法であるマルチ3Dメモリ（M3DM）を提案します。最初に、異なるモーダル機能の相互作用を促進するために、パッチごとの対照学習による教師なし機能融合を設計します。
次に、複数のメモリ バンクとの決定層融合を使用して、情報の損失を回避し、追加のノベルティ分類子を使用して最終決定を行います。
さらに、ポイント クラウドと RGB フィーチャをより適切に整列させるために、ポイント フィーチャの整列操作を提案します。
広範な実験により、当社のマルチモーダルな産業異常検出モデルは、MVTec-3D AD データセットの検出精度とセグメンテーション精度の両方で最先端の (SOTA) メソッドよりも優れていることが示されています。
コードは https://github.com/nomewang/M3DM で入手できます。

要約(オリジナル)

2D-based Industrial Anomaly Detection has been widely discussed, however, multimodal industrial anomaly detection based on 3D point clouds and RGB images still has many untouched fields. Existing multimodal industrial anomaly detection methods directly concatenate the multimodal features, which leads to a strong disturbance between features and harms the detection performance. In this paper, we propose Multi-3D-Memory (M3DM), a novel multimodal anomaly detection method with hybrid fusion scheme: firstly, we design an unsupervised feature fusion with patch-wise contrastive learning to encourage the interaction of different modal features; secondly, we use a decision layer fusion with multiple memory banks to avoid loss of information and additional novelty classifiers to make the final decision. We further propose a point feature alignment operation to better align the point cloud and RGB features. Extensive experiments show that our multimodal industrial anomaly detection model outperforms the state-of-the-art (SOTA) methods on both detection and segmentation precision on MVTec-3D AD dataset. Code is available at https://github.com/nomewang/M3DM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google