Adjoint Rigid Transform Network: Task-conditioned Alignment of 3D Shapes

要約

3D データ (点群、メッシュ) のほとんどの学習方法では、データが正規の方向に注意深く調整されていない場合、パフォーマンスが大幅に低下します。
さまざまなソースから収集された現実世界の 3D データを調整することは簡単ではなく、手動による介入が必要です。
この論文では、さまざまな 3D ネットワークと統合してパフォーマンスを大幅に向上できるニューラル モジュールである Adjoint Rigid Transform (ART) ネットワークを提案します。
ART は、入力形状を学習した標準方向に回転することを学習します。これは、形状の再構築、補間、非剛体レジストレーション、潜在的なもつれの解除などの多くのタスクにとって重要です。
ART は、自己監視と、予測された回転に対する回転等分散制約によってこれを実現します。
注目すべき結果は、ART が自己監視のみで、剛体形状と非剛体形状の両方に対する独自の標準方向の学習を容易にし、前述のタスクのパフォーマンスの顕著な向上につながることです。
さらなる研究のために、コードと事前トレーニングされたモデルをリリースする予定です。

要約(オリジナル)

Most learning methods for 3D data (point clouds, meshes) suffer significant performance drops when the data is not carefully aligned to a canonical orientation. Aligning real world 3D data collected from different sources is non-trivial and requires manual intervention. In this paper, we propose the Adjoint Rigid Transform (ART) Network, a neural module which can be integrated with a variety of 3D networks to significantly boost their performance. ART learns to rotate input shapes to a learned canonical orientation, which is crucial for a lot of tasks such as shape reconstruction, interpolation, non-rigid registration, and latent disentanglement. ART achieves this with self-supervision and a rotation equivariance constraint on predicted rotations. The remarkable result is that with only self-supervision, ART facilitates learning a unique canonical orientation for both rigid and nonrigid shapes, which leads to a notable boost in performance of aforementioned tasks. We will release our code and pre-trained models for further research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google