DualPM: Dual Posed-Canonical Point Maps for 3D Shape and Pose Reconstruction

要約

データ表現の選択は、幾何学的なタスクにおける深い学習の成功における重要な要素です。
たとえば、Dust3Rは最近、視点に不変のポイントマップの概念を導入し、深さ予測を一般化し、静的シーンの3D再構成のすべての重要な問題をそのようなポイントマップの予測に減らすことができることを示しています。
この論文では、非常に異なる問題、つまり、3D形状と変形可能なオブジェクトのポーズの再構築について、類似の概念を開発します。
この目的のために、デュアルポイントマップ（dualPM）を導入します。ここでは、同じ画像から一対のポイントマップが抽出され、1つはオブジェクト上の3D位置にピクセルを関連付け、もう1つは安静時ポーズでのオブジェクトの標準バージョンに関連付けます。
また、ポイントマップをAmodal Reconstructionに拡張し、オブジェクトの完全な形状を取得するために自己閉鎖を介して見ます。
3D再構成と3Dポーズ推定がDualPMSの予測に減少することを示します。
この表現は、深いネットワークが予測する良いターゲットであることを経験的に実証します。
具体的には、馬のモデリングを検討し、dualPMSは馬の単一モデルで構成される3D合成データで純粋にトレーニングできることを示し、実際の画像に非常によく一般化します。
これにより、このタイプのオブジェクトの3D分析と再構築のための以前の方法の大幅なマージンによって改善されます。

要約(オリジナル)

The choice of data representation is a key factor in the success of deep learning in geometric tasks. For instance, DUSt3R has recently introduced the concept of viewpoint-invariant point maps, generalizing depth prediction, and showing that one can reduce all the key problems in the 3D reconstruction of static scenes to predicting such point maps. In this paper, we develop an analogous concept for a very different problem, namely, the reconstruction of the 3D shape and pose of deformable objects. To this end, we introduce the Dual Point Maps (DualPM), where a pair of point maps is extracted from the same image, one associating pixels to their 3D locations on the object, and the other to a canonical version of the object at rest pose. We also extend point maps to amodal reconstruction, seeing through self-occlusions to obtain the complete shape of the object. We show that 3D reconstruction and 3D pose estimation reduce to the prediction of the DualPMs. We demonstrate empirically that this representation is a good target for a deep network to predict; specifically, we consider modeling horses, showing that DualPMs can be trained purely on 3D synthetic data, consisting of a single model of a horse, while generalizing very well to real images. With this, we improve by a large margin previous methods for the 3D analysis and reconstruction of this type of objects.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google