SC3K: Self-supervised and Coherent 3D Keypoints Estimation from Rotated, Noisy, and Decimated Point Cloud Data

要約

この論文では、点群データ (PCD) にノイズが含まれ、ダウンサンプリングされ、任意に回転される実際のシナリオにおいて、任意のオブジェクト カテゴリからキーポイントを推論する新しい方法を提案します。
私たちが提案するモデルは次の原則に従っています: i) キーポイント推論は完全に教師なし (注釈は与えられない)、ii) キーポイント位置誤差は低く、PCD 摂動に対する耐性 (堅牢性)、iii) キーポイントはイントラ インデックスを変更すべきではありません。
-クラス オブジェクト (意味的一貫性)、iv) キーポイントは PCD サーフェスに近いか近接している必要があります (コンパクトさ)。
我々は、オブジェクトクラスの事前知識を前提としないキーポイント推定のための新しい自己教師ありトレーニング戦略と、望ましいキーポイント特性を促進する結合補助損失を備えたモデルアーキテクチャを提案することで、これらの要望を達成します。
提案されたアプローチによって推定されたキーポイントを、最先端の教師なしアプローチのキーポイントと比較します。
実験では、私たちのアプローチが、下流のタスクのオブジェクトの 3D 形状を最もよく特徴付ける意味論的な一貫性 (+4.66%) を保ちながら、カバレッジの向上 (+9.41%) でキーポイントを推定することで優れたパフォーマンスを発揮することを示しています。
コードとデータは、https://github.com/IITPAVIS/SC3K から入手できます。

要約(オリジナル)

This paper proposes a new method to infer keypoints from arbitrary object categories in practical scenarios where point cloud data (PCD) are noisy, down-sampled and arbitrarily rotated. Our proposed model adheres to the following principles: i) keypoints inference is fully unsupervised (no annotation given), ii) keypoints position error should be low and resilient to PCD perturbations (robustness), iii) keypoints should not change their indexes for the intra-class objects (semantic coherence), iv) keypoints should be close to or proximal to PCD surface (compactness). We achieve these desiderata by proposing a new self-supervised training strategy for keypoints estimation that does not assume any a priori knowledge of the object class, and a model architecture with coupled auxiliary losses that promotes the desired keypoints properties. We compare the keypoints estimated by the proposed approach with those of the state-of-the-art unsupervised approaches. The experiments show that our approach outperforms by estimating keypoints with improved coverage (+9.41%) while being semantically consistent (+4.66%) that best characterizes the object’s 3D shape for downstream tasks. Code and data are available at: https://github.com/IITPAVIS/SC3K

arxiv情報

提供元, 利用サービス

arxiv.jp, Google