Complementary Pseudo Multimodal Feature for Point Cloud Anomaly Detection

要約

点群 (PCD) 異常検出は、有望な研究分野として着実に浮上しています。
この研究は、手作りの PCD 記述と事前に訓練された強力な 2D ニューラル ネットワークを組み合わせることで、PCD 異常検出のパフォーマンスを向上させることを目的としています。
この目的のために、この研究では、手作りのPCD記述子を使用して3Dモダリティにローカル幾何学的情報を組み込み、事前トレーニング済みの2Dニューラルネットワークを使用して生成された擬似2Dモダリティにグローバルセマンティック情報を組み込むComplementary Pseudo Multimodal Feature（CPMF）を提案します。
グローバル セマンティクス抽出の場合、CPMF は元の PCD を多視点画像を含む疑似 2D モダリティに投影します。
これらの画像は、有益な 2D モダリティ特徴抽出のために、事前にトレーニングされた 2D ニューラル ネットワークに配信されます。
3D および 2D モダリティ機能が集約されて、PCD 異常検出用の CPMF が取得されます。
MVTec3D ベンチマークで 95.15% の画像レベルの AU-ROC と 92.93% のピクセルレベルの PRO で、広範な実験により、2D と 3D モダリティ機能間の補完的な能力と CPMF の有効性が実証されました。
コードは https://github.com/caoyunkang/CPMF で入手できます。

要約(オリジナル)

Point cloud (PCD) anomaly detection steadily emerges as a promising research area. This study aims to improve PCD anomaly detection performance by combining handcrafted PCD descriptions with powerful pre-trained 2D neural networks. To this end, this study proposes Complementary Pseudo Multimodal Feature (CPMF) that incorporates local geometrical information in 3D modality using handcrafted PCD descriptors and global semantic information in the generated pseudo 2D modality using pre-trained 2D neural networks. For global semantics extraction, CPMF projects the origin PCD into a pseudo 2D modality containing multi-view images. These images are delivered to pre-trained 2D neural networks for informative 2D modality feature extraction. The 3D and 2D modality features are aggregated to obtain the CPMF for PCD anomaly detection. Extensive experiments demonstrate the complementary capacity between 2D and 3D modality features and the effectiveness of CPMF, with 95.15% image-level AU-ROC and 92.93% pixel-level PRO on the MVTec3D benchmark. Code is available on https://github.com/caoyunkang/CPMF.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google