Back to the Feature: Classical 3D Features are (Almost) All You Need for 3D Anomaly Detection

要約

画像の異常検出とセグメンテーションの大幅な進歩にもかかわらず、3D 情報を使用する方法はほとんどありません。
最近導入された 3D 異常検出データセットを利用して、3D 情報の使用が機会損失であるかどうかを評価します。
まず、驚くべき発見を提示します。標準的な色のみの方法は、3D 情報を活用するように明示的に設計された現在のすべての方法よりも優れています。
データセットを簡単に調べただけでも、幾何学的な異常を含む画像には色のみの方法では不十分であることが示されているため、これは直感に反しています。
これにより、異常検出方法で 3D 情報を効果的に使用するにはどうすればよいかという疑問が生じます。
手作りや深層学習ベースなど、さまざまな形状表現を調査します。
回転不変性がパフォーマンスの主役であることを示しています。
深層学習、外部の事前トレーニング データセット、または色情報を使用せずに、最近のすべてのアプローチを打ち負かす単純な 3D のみの方法を明らかにします。
3D のみの方法では色やテクスチャの異常を検出できないため、これを色ベースの機能と組み合わせて、以前の最先端技術を大幅に上回っています。
BTF (Back to the Feature) と呼ばれる当社の方法は、MVTec 3D-AD でピクセル単位の ROCAUC: 99.3% および PRO: 96.4% を達成します。

要約(オリジナル)

Despite significant advances in image anomaly detection and segmentation, few methods use 3D information. We utilize a recently introduced 3D anomaly detection dataset to evaluate whether or not using 3D information is a lost opportunity. First, we present a surprising finding: standard color-only methods outperform all current methods that are explicitly designed to exploit 3D information. This is counter-intuitive as even a simple inspection of the dataset shows that color-only methods are insufficient for images containing geometric anomalies. This motivates the question: how can anomaly detection methods effectively use 3D information? We investigate a range of shape representations including hand-crafted and deep-learning-based; we demonstrate that rotation invariance plays the leading role in the performance. We uncover a simple 3D-only method that beats all recent approaches while not using deep learning, external pre-training datasets, or color information. As the 3D-only method cannot detect color and texture anomalies, we combine it with color-based features, significantly outperforming previous state-of-the-art. Our method, dubbed BTF (Back to the Feature) achieves pixel-wise ROCAUC: 99.3% and PRO: 96.4% on MVTec 3D-AD.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google