ARAH: Animatable Volume Rendering of Articulated Human SDFs

要約

人体モデルと微分可能なレンダリングを組み合わせることで、最近、マルチビュー RGB ビデオのまばらなセットから、衣服を着た人間のアニメーション化可能なアバターが可能になりました。
最先端のアプローチでは神経放射場 (NeRF) を使用してリアルな外観を実現していますが、推測されたジオメトリには、ジオメトリの制約がないために詳細が欠けていることがよくあります。
さらに、観測空間から正準空間へのマッピングは目に見えないポーズに忠実に一般化されないため、分布外のポーズでアバターをアニメーション化することはまだ不可能です。
この作業では、これらの欠点に対処し、分布外のポーズに一般化する詳細なジオメトリを使用して、アニメート可能な衣服を着た人間のアバターを作成するモデルを提案します。
詳細なジオメトリを実現するために、関節式の暗黙的なサーフェス表現とボリューム レンダリングを組み合わせます。
一般化のために、光線と表面の交差探索と対応探索を同時に行うための新しい共同根探索アルゴリズムを提案します。
私たちのアルゴリズムは、効率的なポイント サンプリングと正確なポイント正規化を可能にし、目に見えないポーズを適切に一般化します。
提案されたパイプラインが、マルチビュー RGB ビデオのまばらなセットから高品質のポーズ依存のジオメトリと外観を備えた服を着たアバターを生成できることを示します。
私たちの方法は、ジオメトリと外観の再構築で最先端のパフォーマンスを実現しながら、少数のトレーニングポーズを超えて分布外のポーズにうまく一般化するアニメーション化可能なアバターを作成します。

要約(オリジナル)

Combining human body models with differentiable rendering has recently enabled animatable avatars of clothed humans from sparse sets of multi-view RGB videos. While state-of-the-art approaches achieve realistic appearance with neural radiance fields (NeRF), the inferred geometry often lacks detail due to missing geometric constraints. Further, animating avatars in out-of-distribution poses is not yet possible because the mapping from observation space to canonical space does not generalize faithfully to unseen poses. In this work, we address these shortcomings and propose a model to create animatable clothed human avatars with detailed geometry that generalize well to out-of-distribution poses. To achieve detailed geometry, we combine an articulated implicit surface representation with volume rendering. For generalization, we propose a novel joint root-finding algorithm for simultaneous ray-surface intersection search and correspondence search. Our algorithm enables efficient point sampling and accurate point canonicalization while generalizing well to unseen poses. We demonstrate that our proposed pipeline can generate clothed avatars with high-quality pose-dependent geometry and appearance from a sparse set of multi-view RGB videos. Our method achieves state-of-the-art performance on geometry and appearance reconstruction while creating animatable avatars that generalize well to out-of-distribution poses beyond the small number of training poses.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google