RANA: Relightable Articulated Neural Avatars

要約

我々は、任意の視点、体のポーズ、照明の下で人間のフォトリアルな合成を行うための、再照明可能で多関節の神経アバター、RANAを提案する。アバターを作成するために必要なのは、人物の短いビデオクリップだけであり、照明環境に関する知識は一切想定していない。我々は、単眼RGB動画から人物の形状、テクスチャ、照明環境を分離しながら人物をモデル化する新しいフレームワークを提案する。この困難なタスクを単純化するために、まずSMPL+Dモデルフィッティングにより人物の粗い形状とテクスチャを推定し、次にフォトリアルな画像生成のための関節型神経表現を学習する。RANAはまず、任意の目標姿勢の人物の法線マップとアルベドマップを生成し、次に球面調和照明を用いて目標照明環境における陰影画像を生成する。また、合成画像を用いたRANAの事前学習を提案し、これにより幾何学とテクスチャの分離が向上し、さらに新しい身体ポーズに対する頑健性が向上することを実証する。最後に、提案手法の性能を定量的に評価するために、新しいフォトリアリスティック合成データセットであるRelighting Humansも提示する。

要約(オリジナル)

We propose RANA, a relightable and articulated neural avatar for the photorealistic synthesis of humans under arbitrary viewpoints, body poses, and lighting. We only require a short video clip of the person to create the avatar and assume no knowledge about the lighting environment. We present a novel framework to model humans while disentangling their geometry, texture, and also lighting environment from monocular RGB videos. To simplify this otherwise ill-posed task we first estimate the coarse geometry and texture of the person via SMPL+D model fitting and then learn an articulated neural representation for photorealistic image generation. RANA first generates the normal and albedo maps of the person in any given target body pose and then uses spherical harmonics lighting to generate the shaded image in the target lighting environment. We also propose to pretrain RANA using synthetic images and demonstrate that it leads to better disentanglement between geometry and texture while also improving robustness to novel body poses. Finally, we also present a new photorealistic synthetic dataset, Relighting Humans, to quantitatively evaluate the performance of the proposed approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL