DualPM: Dual Posed-Canonical Point Maps for 3D Shape and Pose Reconstruction

要約

データ表現の選択は、幾何学的なタスクにおける深い学習の成功における重要な要素です。
たとえば、Dust3Rは最近、視点に不変のポイントマップの概念を導入し、深さの予測を一般化し、静的シーンの3D再構成のすべての重要な問題をそのようなポイントマップの予測に還元できることを示しています。
この論文では、3D形状の再構築と変形可能なオブジェクトのポーズ、つまり、非常に異なる問題の類似の概念を開発します。
この目的のために、デュアルポイントマップ（dualPM）を導入します。ここでは、同じ画像1位からピクセルを関連付ける1つのポイントマップがオブジェクト上の3D位置に、もう1つは休憩ポーズのオブジェクトの標準バージョンに抽出されます。
また、ポイントマップをAmodal Reconstructionに拡張して、オブジェクトの完全な形状を自己閉鎖を通して回復します。
3D再構成と3Dポーズ推定をDualPMSの予測に減らすことができることを示します。
経験的には、この表現がディープネットワークが予測するのに適したターゲットであることを実証します。
具体的には、DualPMSをカテゴリごとに1つまたは2つのモデルで構成する合成3Dデータで純粋にトレーニングできることを示し、実際の画像に効果的に一般化することに焦点を当てています。
このアプローチにより、このようなオブジェクトの3D分析と再構築のための以前の方法よりも大幅な改善が得られます。

要約(オリジナル)

The choice of data representation is a key factor in the success of deep learning in geometric tasks. For instance, DUSt3R recently introduced the concept of viewpoint-invariant point maps, generalizing depth prediction and showing that all key problems in the 3D reconstruction of static scenes can be reduced to predicting such point maps. In this paper, we develop an analogous concept for a very different problem: the reconstruction of the 3D shape and pose of deformable objects. To this end, we introduce Dual Point Maps (DualPM), where a pair of point maps is extracted from the same image-one associating pixels to their 3D locations on the object and the other to a canonical version of the object in its rest pose. We also extend point maps to amodal reconstruction to recover the complete shape of the object, even through self-occlusions. We show that 3D reconstruction and 3D pose estimation can be reduced to the prediction of DualPMs. Empirically, we demonstrate that this representation is a suitable target for deep networks to predict. Specifically, we focus on modeling quadrupeds, showing that DualPMs can be trained purely on synthetic 3D data, consisting of one or two models per category, while generalizing effectively to real images. With this approach, we achieve significant improvements over previous methods for the 3D analysis and reconstruction of such objects.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google