Steerable 3D Spherical Neurons

要約

低レベルの視覚理論から生まれた操縦可能なフィルターは、剛体変換と同変の操縦可能な畳み込みニューラルネットワークに関する以前の研究で対応するものを見つけました。
私たちの仕事では、球形の決定面を持つニューロンで構成され、点群で動作する、操作可能なフィードフォワード学習ベースのアプローチを提案します。
このような球形ニューロンは、ユークリッド空間の共形埋め込みによって取得され、最近、点集合の表現を学習するという文脈で再検討されています。
3Dジオメトリに焦点を当て、球形ニューロンの等長特性を活用して、3D操縦性制約を導き出します。
球形ニューロンをトレーニングして点群を正準方向に分類した後、四面体ベースを使用してニューロンを4倍にし、回転同変球形フィルターバンクを構築します。
次に、導出された制約を適用してフィルターバンクの出力を補間し、回転不変ネットワークを取得します。
最後に、合成ポイントセットと実際の3Dスケルトンデータを使用して、理論上の結果を検証します。
コードはhttps://github.com/pavlo-melnyk/steerable-3d-neuronsで入手できます。

要約(オリジナル)

Emerging from low-level vision theory, steerable filters found their counterpart in prior work on steerable convolutional neural networks equivariant to rigid transformations. In our work, we propose a steerable feed-forward learning-based approach that consists of neurons with spherical decision surfaces and operates on point clouds. Such spherical neurons are obtained by conformal embedding of Euclidean space and have recently been revisited in the context of learning representations of point sets. Focusing on 3D geometry, we exploit the isometry property of spherical neurons and derive a 3D steerability constraint. After training spherical neurons to classify point clouds in a canonical orientation, we use a tetrahedron basis to quadruplicate the neurons and construct rotation-equivariant spherical filter banks. We then apply the derived constraint to interpolate the filter bank outputs and, thus, obtain a rotation-invariant network. Finally, we use a synthetic point set and real-world 3D skeleton data to verify our theoretical findings. The code is available at https://github.com/pavlo-melnyk/steerable-3d-neurons.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google