Vid2Avatar: 3D Avatar Reconstruction from Videos in the Wild via Self-supervised Scene Decomposition

要約

単眼の野生のビデオから人間のアバターを学習する方法である Vid2Avatar を紹介します。
単眼の野生のビデオから自然に動く人間を再構築することは困難です。
それを解決するには、人間を任意の背景から正確に分離する必要があります。
さらに、短いビデオ シーケンスから詳細な 3D サーフェスを再構築する必要があるため、さらに困難になります。
これらの課題にもかかわらず、私たちの方法は、衣服を着た人間のスキャンの大規模なデータセットから抽出されたグラウンドトゥルースの監督や事前情報を必要とせず、外部のセグメンテーション モジュールにも依存しません。
代わりに、シーン内の人間と背景の両方を一緒にモデル化し、2 つの別個のニューラル フィールドを介してパラメーター化することにより、シーン分解と表面再構成のタスクを 3D で直接解決します。
具体的には、標準空間で時間的に一貫した人間の表現を定義し、背景モデル、標準的な人間の形状とテクスチャ、およびフレームごとの人間の姿勢パラメーターに対するグローバルな最適化を定式化します。
ボリューム レンダリングのための粗いサンプリング戦略と新しい目標が導入され、動的な人間と静的な背景を明確に分離し、詳細で堅牢な 3D 人間のジオメトリの再構築を実現します。
公開されているデータセットでメソッドを評価し、従来技術よりも改善されていることを示します。

要約(オリジナル)

We present Vid2Avatar, a method to learn human avatars from monocular in-the-wild videos. Reconstructing humans that move naturally from monocular in-the-wild videos is difficult. Solving it requires accurately separating humans from arbitrary backgrounds. Moreover, it requires reconstructing detailed 3D surface from short video sequences, making it even more challenging. Despite these challenges, our method does not require any groundtruth supervision or priors extracted from large datasets of clothed human scans, nor do we rely on any external segmentation modules. Instead, it solves the tasks of scene decomposition and surface reconstruction directly in 3D by modeling both the human and the background in the scene jointly, parameterized via two separate neural fields. Specifically, we define a temporally consistent human representation in canonical space and formulate a global optimization over the background model, the canonical human shape and texture, and per-frame human pose parameters. A coarse-to-fine sampling strategy for volume rendering and novel objectives are introduced for a clean separation of dynamic human and static background, yielding detailed and robust 3D human geometry reconstructions. We evaluate our methods on publicly available datasets and show improvements over prior art.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google