Look Inside for More: Internal Spatial Modality Perception for 3D Anomaly Detection

要約

3D異常検出は最近、コンピュータービジョンに大きな焦点となっています。
いくつかの高度な方法が、満足のいく異常検出パフォーマンスを達成しました。
ただし、通常、3Dサンプルの外部構造に集中し、サンプル内に埋め込まれた内部情報を活用するのに苦労しています。
なぜもっと多くを見るのではないという基本的な直観に触発されて、内部ビューから機能表現を完全に探求するために、内部空間モダリティ知覚〜（ISMP）という名前の簡単な方法を紹介します。
具体的には、提案されているISMPは、重要な知覚モジュールである空間洞察エンジン〜（SIE）で構成されています。
また、構造情報をポイントデータとより適切に調整するために、空間構造の特徴表現を増幅するための拡張キーポイント特徴抽出モジュールを提案します。
同時に、正確な空間構造をさらに調整するために、ノイズと冗長機能を減らすために、新しい機能フィルタリングモジュールが組み込まれています。
広範な実験では、提案された方法の有効性を検証し、それぞれReal3D-ADベンチマークで3.2 \％と13.1 \％のオブジェクトレベルおよびピクセルレベルのAUROC改善を達成します。
SIEの強力な一般化能力は理論的に証明されており、分類タスクとセグメンテーションタスクの両方で検証されていることに注意してください。

要約(オリジナル)

3D anomaly detection has recently become a significant focus in computer vision. Several advanced methods have achieved satisfying anomaly detection performance. However, they typically concentrate on the external structure of 3D samples and struggle to leverage the internal information embedded within samples. Inspired by the basic intuition of why not look inside for more, we introduce a straightforward method named Internal Spatial Modality Perception~(ISMP) to explore the feature representation from internal views fully. Specifically, our proposed ISMP consists of a critical perception module, Spatial Insight Engine~(SIE), which abstracts complex internal information of point clouds into essential global features. Besides, to better align structural information with point data, we propose an enhanced key point feature extraction module for amplifying spatial structure feature representation. Simultaneously, a novel feature filtering module is incorporated to reduce noise and redundant features for further aligning precise spatial structure. Extensive experiments validate the effectiveness of our proposed method, achieving object-level and pixel-level AUROC improvements of 3.2\% and 13.1\%, respectively, on the Real3D-AD benchmarks. Note that the strong generalization ability of SIE has been theoretically proven and is verified in both classification and segmentation tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google