ODHSR: Online Dense 3D Reconstruction of Humans and Scenes from Monocular Videos

要約

人間中心の3D世界の認識において、単一の単眼内の野生のビデオフィギュアからフォトリアリスティックなシーンと人間の再建を作成します。
最近のニューラルレンダリングの進歩により、全体的な人間のシーンの再構成が可能になりましたが、事前に調整されたカメラと人間のポーズ、およびトレーニング時間の日数が必要です。
この作業では、カメラトラッキング、人間のポーズ推定、人間のシーンの再構成をオンラインで実行するという新しい統一フレームワークを紹介します。
3Dガウスのスプラットティングは、人間とシーンのガウスプリミティブを効率的に学習するために利用されており、再構築ベースのカメラ追跡と人間のポーズ推定モジュールは、ホリスティックな理解と効果的なポーズと外観の解体を可能にするように設計されています。
具体的には、人間の変形モジュールを設計して、詳細を再構築し、分散型ポーズの一般化可能性を忠実に強化します。
人間とシーンの間の空間的相関を正確に学ぶことを目指して、閉塞性のヒトシルエットレンダリングと単眼の幾何学的前症を紹介し、再構築品質をさらに向上させます。
EMDBおよびNeumanデータセットでの実験は、カメラの追跡、人間のポーズ推定、新しいビューの合成、ランタイムの既存の方法で優れたパフォーマンスまたは標準性能を示しています。
プロジェクトページはhttps://eth-ait.github.io/odhsrにあります。

要約(オリジナル)

Creating a photorealistic scene and human reconstruction from a single monocular in-the-wild video figures prominently in the perception of a human-centric 3D world. Recent neural rendering advances have enabled holistic human-scene reconstruction but require pre-calibrated camera and human poses, and days of training time. In this work, we introduce a novel unified framework that simultaneously performs camera tracking, human pose estimation and human-scene reconstruction in an online fashion. 3D Gaussian Splatting is utilized to learn Gaussian primitives for humans and scenes efficiently, and reconstruction-based camera tracking and human pose estimation modules are designed to enable holistic understanding and effective disentanglement of pose and appearance. Specifically, we design a human deformation module to reconstruct the details and enhance generalizability to out-of-distribution poses faithfully. Aiming to learn the spatial correlation between human and scene accurately, we introduce occlusion-aware human silhouette rendering and monocular geometric priors, which further improve reconstruction quality. Experiments on the EMDB and NeuMan datasets demonstrate superior or on-par performance with existing methods in camera tracking, human pose estimation, novel view synthesis and runtime. Our project page is at https://eth-ait.github.io/ODHSR.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google