TetraSphere: A Neural Descriptor for O(3)-Invariant Point Cloud Analysis

要約

多くの実際のアプリケーションでは、3D 点群解析には回転の不変性が必要です。
この論文では、最近導入された操作可能な 3D 球面ニューロンとベクトル ニューロンを利用して、3D 回転と反射、つまり O(3) アクションの下での学習可能な記述子不変式を提示します。
具体的には、モデルのエンドツーエンドのトレーニングを活用する、3D 球状ニューロンの 4D ベクトル ニューロンへの埋め込みを提案します。
私たちのアプローチでは、TetraTransform (操作可能なニューロンから構築された 3D 入力の 4D への等変埋め込み) を実行し、ベクトル ニューロンを使用してより深い O(3) 等変特徴を抽出します。
TetraSphere と呼ばれるこの TetraTransform の VN-DGCNN フレームワークへの統合により、パラメーターの数は 0.0002% 未満しか増加しません。
TetraSphere は、ScanObjectNN の困難なサブセットのランダムに回転された実世界のオブジェクト スキャンを分類する新しい最先端のパフォーマンスを設定します。
さらに、TetraSphere は、ModelNet40 からのオブジェクトの分類や ShapeNet 形状の一部のセグメント化など、ランダムに回転された合成データに対するすべての等変手法よりも優れたパフォーマンスを発揮します。
したがって、私たちの結果は、3D ユークリッド空間での学習に対する操作可能な 3D 球状ニューロンの実際的な価値を明らかにしています。
コードは \url{https://github.com/pavlo-melnyk/tetrasphere} で入手できます。

要約(オリジナル)

In many practical applications, 3D point cloud analysis requires rotation invariance. In this paper, we present a learnable descriptor invariant under 3D rotations and reflections, i.e., the O(3) actions, utilizing the recently introduced steerable 3D spherical neurons and vector neurons. Specifically, we propose an embedding of the 3D spherical neurons into 4D vector neurons, which leverages end-to-end training of the model. In our approach, we perform TetraTransform–an equivariant embedding of the 3D input into 4D, constructed from the steerable neurons–and extract deeper O(3)-equivariant features using vector neurons. This integration of the TetraTransform into the VN-DGCNN framework, termed TetraSphere, negligibly increases the number of parameters by less than 0.0002%. TetraSphere sets a new state-of-the-art performance classifying randomly rotated real-world object scans of the challenging subsets of ScanObjectNN. Additionally, TetraSphere outperforms all equivariant methods on randomly rotated synthetic data: classifying objects from ModelNet40 and segmenting parts of the ShapeNet shapes. Thus, our results reveal the practical value of steerable 3D spherical neurons for learning in 3D Euclidean space. The code is available at \url{https://github.com/pavlo-melnyk/tetrasphere}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google