Relightable Neural Actor with Intrinsic Decomposition and Pose Control

要約

人間は高度に関節を動かし、ポーズに依存した外観効果を生み出し、皮膚だけでなく衣服も空間変化する BRDF モデリングを必要とするため、固定照明のマルチビュー ビデオから制御可能で再照明可能なデジタル アバターを作成することは、非常に困難な問題です。
アニメーション可能なアバターの作成に関する既存の研究は、再照明にまったく焦点を当てておらず、制御された照明セットアップを必要とするか、または非常に低コストのセットアップ (つまり、単一の RGB ビデオ) から結果の品質が大幅に制限されて再照明可能なアバターを復元しようとしています。
影もモデル化されていません。
これに対処するために、私たちは、ポーズ駆動型ニューラル ヒューマン モデルを学習するための新しいビデオ ベースの方法である Relightable Neural Actor を提案します。これは、再照明が可能で、外観の編集が可能で、しわやセルフ シャドウなどのポーズ依存の効果をモデル化します。
重要なのは、トレーニングの場合、私たちの方法では、既知ではあるが静的な照明条件下での人間のマルチビュー記録だけが必要であるということです。
この困難な問題に取り組むために、ポーズ依存の変形をモデル化する駆動可能な密度フィールドを備えたアクターの暗黙的なジオメトリ表現を活用し、法線、可視性、およびマテリアルが効果的にエンコードされる 3D 空間と UV 空間の間の動的マッピングを導き出します。
現実世界のシナリオで私たちのアプローチを評価するために、屋内と屋外の異なる光条件下で記録された 4 つのアイデンティティを含む新しいデータセットを収集し、人間の再照明に関するこの種の最初のベンチマークを提供し、最先端の再照明結果を実証します。
斬新な人間のポーズを実現します。

要約(オリジナル)

Creating a controllable and relightable digital avatar from multi-view video with fixed illumination is a very challenging problem since humans are highly articulated, creating pose-dependent appearance effects, and skin as well as clothing require space-varying BRDF modeling. Existing works on creating animatible avatars either do not focus on relighting at all, require controlled illumination setups, or try to recover a relightable avatar from very low cost setups, i.e. a single RGB video, at the cost of severely limited result quality, e.g. shadows not even being modeled. To address this, we propose Relightable Neural Actor, a new video-based method for learning a pose-driven neural human model that can be relighted, allows appearance editing, and models pose-dependent effects such as wrinkles and self-shadows. Importantly, for training, our method solely requires a multi-view recording of the human under a known, but static lighting condition. To tackle this challenging problem, we leverage an implicit geometry representation of the actor with a drivable density field that models pose-dependent deformations and derive a dynamic mapping between 3D and UV spaces, where normal, visibility, and materials are effectively encoded. To evaluate our approach in real-world scenarios, we collect a new dataset with four identities recorded under different light conditions, indoors and outdoors, providing the first benchmark of its kind for human relighting, and demonstrating state-of-the-art relighting results for novel human poses.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google