SNAKE: Shape-aware Neural 3D Keypoint Field

要約

点群から3Dキーポイントを検出することは、形状の再構築にとって重要ですが、この作業では、形状の再構築が3Dキーポイントの検出に役立つかという2つの質問を調査します。
既存の方法は、さまざまな次数の統計に従って顕著な特徴を探すか、変換に対して不変であるキーポイントを予測することを学習します。
それにもかかわらず、形状再構成を3Dキーポイント検出に組み込むというアイデアは十分に検討されていません。
これは以前の問題の定式化によって制限されていると私たちは主張します。
この目的のために、SNAKEという名前の新しい教師なしパラダイムが提案されています。これは形状認識ニューラル3Dキーポイントフィールドの略です。
最近の座標ベースの放射輝度または距離フィールドと同様に、私たちのネットワークは3D座標を入力として受け取り、暗黙の形状インジケーターとキーポイントの顕著性を同時に予測するため、3Dキーポイントの検出と形状の再構築が自然に絡み合います。
スタンドアロンのオブジェクトデータセットModelNet40、KeypointNet、SMPLメッシュ、シーンレベルのデータセット3DMatch、Redwoodなど、さまざまな公開ベンチマークで優れたパフォーマンスを実現しています。
固有の形状認識には、次のようないくつかの利点があります。
（1）SNAKEは、そのような監視がなくても、人間の意味注釈と一致する3Dキーポイントを生成します。
（2）SNAKEは、特に入力ポイントクラウドがダウンサンプリングされている場合、再現性の点で対応するものよりも優れています。
（3）生成されたキーポイントにより、特にゼロショット設定で正確な幾何学的位置合わせが可能になります。
コードはhttps://github.com/zhongcl-thu/SNAKEで入手できます。

要約(オリジナル)

Detecting 3D keypoints from point clouds is important for shape reconstruction, while this work investigates the dual question: can shape reconstruction benefit 3D keypoint detection? Existing methods either seek salient features according to statistics of different orders or learn to predict keypoints that are invariant to transformation. Nevertheless, the idea of incorporating shape reconstruction into 3D keypoint detection is under-explored. We argue that this is restricted by former problem formulations. To this end, a novel unsupervised paradigm named SNAKE is proposed, which is short for shape-aware neural 3D keypoint field. Similar to recent coordinate-based radiance or distance field, our network takes 3D coordinates as inputs and predicts implicit shape indicators and keypoint saliency simultaneously, thus naturally entangling 3D keypoint detection and shape reconstruction. We achieve superior performance on various public benchmarks, including standalone object datasets ModelNet40, KeypointNet, SMPL meshes and scene-level datasets 3DMatch and Redwood. Intrinsic shape awareness brings several advantages as follows. (1) SNAKE generates 3D keypoints consistent with human semantic annotation, even without such supervision. (2) SNAKE outperforms counterparts in terms of repeatability, especially when the input point clouds are down-sampled. (3) the generated keypoints allow accurate geometric registration, notably in a zero-shot setting. Codes are available at https://github.com/zhongcl-thu/SNAKE

arxiv情報

提供元, 利用サービス

arxiv.jp, Google