TriHuman : A Real-time and Controllable Tri-plane Representation for Detailed Human Geometry and Appearance Synthesis

要約

ビデオ データのみから、制御可能で写実的で幾何学的に詳細な実際の人間のデジタル ダブルスを作成することは、特にリアルタイム パフォーマンスが必要な場合、コンピュータ グラフィックスとビジョンにおける重要な課題です。
最近の方法では、神経放射フィールド (NeRF) を身体モデルや骨格などの多関節構造に付加し、NeRF を骨格ポーズに条件付けしながら、ポーズの標準空間に点をマッピングします。
これらのアプローチは通常、多層パーセプトロン (MLP) を使用してニューラル フィールドをパラメータ化するため、実行時間が遅くなります。
この欠点に対処するために、私たちは人間に合わせた新しい変形可能で効率的な三面表現である TriHuman を提案します。これにより、リアルタイム パフォーマンス、最先端のポーズ制御可能なジオメトリ合成、およびフォトリアリスティックなレンダリング品質が実現されます。
中心部では、グローバル レイ サンプルを変形されていないトライプレーン テクスチャ空間に非剛体的にワープします。これにより、グローバル ポイントが同じトライプレーンの位置にマッピングされる問題に効果的に対処します。
次に、動的な外観とジオメトリの変化を考慮して、そのような 3 面フィーチャの表現を骨格の動きに基づいてどのように条件付けることができるかを示します。
私たちの結果は、人間のジオメトリと外観モデリング、および実行時のパフォーマンスの点で、より高品質に向けた明確な一歩を示しています。

要約(オリジナル)

Creating controllable, photorealistic, and geometrically detailed digital doubles of real humans solely from video data is a key challenge in Computer Graphics and Vision, especially when real-time performance is required. Recent methods attach a neural radiance field (NeRF) to an articulated structure, e.g., a body model or a skeleton, to map points into a pose canonical space while conditioning the NeRF on the skeletal pose. These approaches typically parameterize the neural field with a multi-layer perceptron (MLP) leading to a slow runtime. To address this drawback, we propose TriHuman a novel human-tailored, deformable, and efficient tri-plane representation, which achieves real-time performance, state-of-the-art pose-controllable geometry synthesis as well as photorealistic rendering quality. At the core, we non-rigidly warp global ray samples into our undeformed tri-plane texture space, which effectively addresses the problem of global points being mapped to the same tri-plane locations. We then show how such a tri-plane feature representation can be conditioned on the skeletal motion to account for dynamic appearance and geometry changes. Our results demonstrate a clear step towards higher quality in terms of geometry and appearance modeling of humans as well as runtime performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google