Canonical Pose Reconstruction from Single Depth Image for 3D Non-rigid Pose Recovery on Limited Datasets

要約

2D入力からの3D再構成、特に人間のような非剛性オブジェクトの場合、変形の有意な範囲があるため、独自の課題を提示します。
従来の方法はしばしば、変形空間全体をカバーするために広範なトレーニングデータを必要とする非剛性の形状と格闘しています。
この研究では、変形可能な形状の単一ビュー深度画像を標準形式に変換する標準的なポーズ再構成モデ​​ルを提案することにより、これらの制限に対処します。
このアラインメントは、リジッドオブジェクトの再構成技術の適用を可能にすることにより形状再構成を促進し、元の深さ画像と変形した深さ画像の両方を使用して、再構成タスクの一部としてボクセル表現の入力ポーズの回復をサポートします。
特に、私たちのモデルは、約300のサンプルの小さなデータセットのみで効果的な結果を達成します。
動物および人間のデータセットでの実験結果は、私たちのモデルが他の最先端の方法よりも優れていることを示しています。

要約(オリジナル)

3D reconstruction from 2D inputs, especially for non-rigid objects like humans, presents unique challenges due to the significant range of possible deformations. Traditional methods often struggle with non-rigid shapes, which require extensive training data to cover the entire deformation space. This study addresses these limitations by proposing a canonical pose reconstruction model that transforms single-view depth images of deformable shapes into a canonical form. This alignment facilitates shape reconstruction by enabling the application of rigid object reconstruction techniques, and supports recovering the input pose in voxel representation as part of the reconstruction task, utilizing both the original and deformed depth images. Notably, our model achieves effective results with only a small dataset of approximately 300 samples. Experimental results on animal and human datasets demonstrate that our model outperforms other state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google