Unbiased 4D: Monocular 4D Reconstruction with a Neural Deformation Model

要約

一般的な変形シーンをキャプチャすることは、多くのコンピュータグラフィックスおよびビジョンアプリケーションにとって重要であり、シーンの単眼RGBビデオのみが利用可能な場合は特に困難です。
競合する方法は、密なポイントトラック、3Dテンプレート、大規模なトレーニングデータセットを想定しているか、小規模な変形のみをキャプチャします。
それらとは対照的に、私たちの方法であるUb4Dは、困難なシナリオで以前の最先端技術を上回りながら、これらの仮定を一切行いません。
私たちの手法には、非剛体3D再構成のコンテキストで、2つの新しいコンポーネントが含まれます。つまり、1）非剛体シーンの座標ベースの暗黙的なニューラル表現であり、動的シーンの偏りのない再構成を可能にします。2）小説
より大きな変形の再構築を可能にする動的シーンフロー損失。
公開される新しいデータセットの結果は、表面再構成の精度と大きな変形に対する堅牢性の点で、最先端技術よりも明らかに改善されていることを示しています。
プロジェクトページhttps://4dqv.mpi-inf.mpg.de/Ub4D/にアクセスします。

要約(オリジナル)

Capturing general deforming scenes is crucial for many computer graphics and vision applications, and it is especially challenging when only a monocular RGB video of the scene is available. Competing methods assume dense point tracks, 3D templates, large-scale training datasets, or only capture small-scale deformations. In contrast to those, our method, Ub4D, makes none of these assumptions while outperforming the previous state of the art in challenging scenarios. Our technique includes two new, in the context of non-rigid 3D reconstruction, components, i.e., 1) A coordinate-based and implicit neural representation for non-rigid scenes, which enables an unbiased reconstruction of dynamic scenes, and 2) A novel dynamic scene flow loss, which enables the reconstruction of larger deformations. Results on our new dataset, which will be made publicly available, demonstrate the clear improvement over the state of the art in terms of surface reconstruction accuracy and robustness to large deformations. Visit the project page https://4dqv.mpi-inf.mpg.de/Ub4D/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google