DualPM: Dual Posed-Canonical Point Maps for 3D Shape and Pose Reconstruction

要約

データ表現の選択は、幾何学的タスクにおける深層学習の成功の重要な要素です。
たとえば、DUSt3R は最近、視点不変ポイント マップの概念を導入し、奥行き予測を一般化して、静的シーンの 3D 再構成におけるすべての重要な問題をそのようなポイント マップの予測に帰着できることを示しました。
この論文では、非常に異なる問題、つまり変形可能なオブジェクトの 3D 形状と姿勢の再構築について、同様の概念を開発します。
この目的を達成するために、デュアル ポイント マップ (DualPM) を導入します。このマップでは、{同じ} 画像から 1 対のポイント マップが抽出され、1 つはピクセルをオブジェクト上の 3D 位置に関連付け、もう 1 つはオブジェクトの標準バージョンに関連付けます。
休憩ポーズで。
また、ポイント マップをアモーダル再構築まで拡張し、自己オクルージョンを通してオブジェクトの完全な形状を取得します。
3D 再構成と 3D 姿勢推定が DualPM の予測に帰着することを示します。
我々は、この表現がディープネットワークの予測に適したターゲットであることを経験的に示します。
具体的には、馬のモデリングを検討し、実際の画像に非常によく一般化しながら、馬の単一モデルで構成される 3D 合成データのみで DualPM をトレーニングできることを示します。
これにより、このタイプのオブジェクトの 3D 解析と再構築に関する以前の方法が大幅に改善されました。

要約(オリジナル)

The choice of data representation is a key factor in the success of deep learning in geometric tasks. For instance, DUSt3R has recently introduced the concept of viewpoint-invariant point maps, generalizing depth prediction, and showing that one can reduce all the key problems in the 3D reconstruction of static scenes to predicting such point maps. In this paper, we develop an analogous concept for a very different problem, namely, the reconstruction of the 3D shape and pose of deformable objects. To this end, we introduce the Dual Point Maps (DualPM), where a pair of point maps is extracted from the {same} image, one associating pixels to their 3D locations on the object, and the other to a canonical version of the object at rest pose. We also extend point maps to amodal reconstruction, seeing through self-occlusions to obtain the complete shape of the object. We show that 3D reconstruction and 3D pose estimation reduce to the prediction of the DualPMs. We demonstrate empirically that this representation is a good target for a deep network to predict; specifically, we consider modeling horses, showing that DualPMs can be trained purely on 3D synthetic data, consisting of a single model of a horse, while generalizing very well to real images. With this, we improve by a large margin previous methods for the 3D analysis and reconstruction of this type of objects.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google