3D Keypoint Estimation Using Implicit Representation Learning

要約

この論文では、新しい暗黙的表現を使用して一般オブジェクトの 3D キーポイント推定という困難な問題に取り組みます。
これまでの研究では、直接座標回帰またはヒートマップベースの推論によるキーポイント予測の有望な結果が実証されています。
ただし、これらの方法は一般に、固定キーポイント構造を持つ人体や顔などの特定の被写体に対して研究されます。
また、画像や部分的な点群など、明示的または完全なジオメトリが指定されていないいくつかの実際的なシナリオでも問題が発生します。
再構成タスクにおける高度な暗黙的表現の最近の成功に触発されて、キーポイントを表現するために暗黙的フィールドを使用するというアイデアを検討します。
具体的には、私たちの重要なアイデアは、球を使用して 3D キーポイントを表現し、それによって対応する符号付き距離フィールドの学習を可能にすることです。
明示的なキーポイントは、ハフ変換に基づくアルゴリズムによって後で抽出できます。
定量的および定性的評価でも、予測精度の点で当社の表現の優位性が示されています。

要約(オリジナル)

In this paper, we tackle the challenging problem of 3D keypoint estimation of general objects using a novel implicit representation. Previous works have demonstrated promising results for keypoint prediction through direct coordinate regression or heatmap-based inference. However, these methods are commonly studied for specific subjects, such as human bodies and faces, which possess fixed keypoint structures. They also suffer in several practical scenarios where explicit or complete geometry is not given, including images and partial point clouds. Inspired by the recent success of advanced implicit representation in reconstruction tasks, we explore the idea of using an implicit field to represent keypoints. Specifically, our key idea is employing spheres to represent 3D keypoints, thereby enabling the learnability of the corresponding signed distance field. Explicit keypoints can be extracted subsequently by our algorithm based on the Hough transform. Quantitative and qualitative evaluations also show the superiority of our representation in terms of prediction accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google