IntrinsicAvatar: Physically Based Inverse Rendering of Dynamic Humans from Monocular Videos via Explicit Ray Tracing

要約

私たちは、幾何学、アルベド、マテリアル、環境照明などの衣服を着た人間のアバターの固有の特性を単眼ビデオのみから復元する新しいアプローチである IntrinsicAvatar を紹介します。
人間ベースのニューラル レンダリングの最近の進歩により、単眼ビデオだけから衣服を着た人間の高品質なジオメトリと外観を再構築できるようになりました。
ただし、これらの方法では、アルベド、マテリアル、環境照明などの固有のプロパティが単一の絡み合ったニューラル表現に焼き付けられます。
一方で、単眼ビデオから衣服を着た人間の幾何学的形状ともつれを解いた外観特性を推定するという問題に取り組んでいる作品はほんの一握りです。
通常、学習された MLP による二次シェーディング効果の近似により、限られた品質ともつれの解消が達成されます。
この研究では、モンテカルロ レイ トレーシングを介して二次シェーディング効果を明示的にモデル化することを提案します。
衣服を着た人間のレンダリング プロセスを体積散乱プロセスとしてモデル化し、レイ トレーシングと身体の関節表現を組み合わせます。
私たちのアプローチでは、グラウンド トゥルース マテリアルを使用した教師付き事前トレーニングを必要とせずに、単一の単眼ビデオから衣服を着た人間の高品質なジオメトリ、アルベド、マテリアル、照明特性を復元できます。
さらに、体積散乱プロセスとレイ トレーシングを明示的にモデル化しているため、モデルは自然に新しいポーズに一般化され、新しい照明条件で再構成されたアバターのアニメーションが可能になります。

要約(オリジナル)

We present IntrinsicAvatar, a novel approach to recovering the intrinsic properties of clothed human avatars including geometry, albedo, material, and environment lighting from only monocular videos. Recent advancements in human-based neural rendering have enabled high-quality geometry and appearance reconstruction of clothed humans from just monocular videos. However, these methods bake intrinsic properties such as albedo, material, and environment lighting into a single entangled neural representation. On the other hand, only a handful of works tackle the problem of estimating geometry and disentangled appearance properties of clothed humans from monocular videos. They usually achieve limited quality and disentanglement due to approximations of secondary shading effects via learned MLPs. In this work, we propose to model secondary shading effects explicitly via Monte-Carlo ray tracing. We model the rendering process of clothed humans as a volumetric scattering process, and combine ray tracing with body articulation. Our approach can recover high-quality geometry, albedo, material, and lighting properties of clothed humans from a single monocular video, without requiring supervised pre-training using ground truth materials. Furthermore, since we explicitly model the volumetric scattering process and ray tracing, our model naturally generalizes to novel poses, enabling animation of the reconstructed avatar in novel lighting conditions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google