4DRecons: 4D Neural Implicit Deformable Objects Reconstruction from a single RGB-D Camera with Geometrical and Topological Regularizations

要約

この論文では、単一カメラの動的な被写体の RGB-D シーケンスを入力として受け取り、時間の経過とともに完全なテクスチャ付き変形 3D モデルを出力する新しいアプローチ 4DRecons を紹介します。
4DRecons は出力を 4D ニューラル暗黙曲面としてエンコードし、データ項と 2 つの正則化項を組み合わせた最適化手順を提示します。
データ項は、4D 暗黙曲面を入力部分観測値に適合させます。
私たちは、完全な陰的曲面を部分的な観測値に当てはめる際の基本的な課題に取り組みます。
最初の正則化項は、隣接するフレーム間の変形が可能な限り剛直であることを強制します (ARAP)。
この目的を達成するために、ARAP 正則化項を定義するために使用される、隣接するテクスチャ付き暗黙的曲面間の対応関係を計算する新しいアプローチを導入します。
2 番目の正則化項は、基礎となるオブジェクトのトポロジが時間の経過とともに固定されたままになることを強制します。
この正則化は、陰的ベースの再構成でよく見られる自己交差を回避するために重要です。
私たちはさまざまなデータセットで 4DRecons のパフォーマンスを評価しました。
実験結果は、4DRecon が大きな変形と複雑なパーツ間の相互作用を処理でき、最先端のアプローチを大幅に上回るパフォーマンスを示していることを示しています。

要約(オリジナル)

This paper presents a novel approach 4DRecons that takes a single camera RGB-D sequence of a dynamic subject as input and outputs a complete textured deforming 3D model over time. 4DRecons encodes the output as a 4D neural implicit surface and presents an optimization procedure that combines a data term and two regularization terms. The data term fits the 4D implicit surface to the input partial observations. We address fundamental challenges in fitting a complete implicit surface to partial observations. The first regularization term enforces that the deformation among adjacent frames is as rigid as possible (ARAP). To this end, we introduce a novel approach to compute correspondences between adjacent textured implicit surfaces, which are used to define the ARAP regularization term. The second regularization term enforces that the topology of the underlying object remains fixed over time. This regularization is critical for avoiding self-intersections that are typical in implicit-based reconstructions. We have evaluated the performance of 4DRecons on a variety of datasets. Experimental results show that 4DRecons can handle large deformations and complex inter-part interactions and outperform state-of-the-art approaches considerably.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google