Human Gaussian Splatting: Real-time Rendering of Animatable Avatars

要約

この作品は、マルチビュー ビデオから学習したフォトリアリスティックな人体のアバターのリアルタイム レンダリングの問題に取り組んでいます。
バーチャル ヒューマンをモデル化してレンダリングする古典的なアプローチでは、一般にテクスチャ メッシュが使用されますが、最近の研究では、印象的な視覚的品質を実現するニューラル ボディ表現が開発されました。
ただし、これらのモデルはリアルタイムでレンダリングすることが難しく、トレーニングの観察とは異なる体のポーズでキャラクターをアニメートすると品質が低下します。
我々は、神経放射フィールドに代わる非常に効率的な代替手段として最近登場した、3D ガウス スプラッティングに基づくアニメーション可能な人間モデルを提案します。
ボディは、フォワード スキニングと局所的な非剛体リファインメントを組み合わせた、粗いものから細かいものへのアプローチで変形される正準空間内の一連のガウス プリミティブによって表されます。
多視点観察からエンドツーエンド方式でヒューマン ガウス スプラッティング (HuGS) モデルを学習し、着衣ボディの新しいポーズ合成のための最先端のアプローチと比較して評価する方法について説明します。
私たちの方法は、リアルタイム (512×512 解像度で 80 fps) でレンダリングできると同時に、THuman4 データセットの最先端技術と比較して 1.5 dB PSNR の改善を達成します。

要約(オリジナル)

This work addresses the problem of real-time rendering of photorealistic human body avatars learned from multi-view videos. While the classical approaches to model and render virtual humans generally use a textured mesh, recent research has developed neural body representations that achieve impressive visual quality. However, these models are difficult to render in real-time and their quality degrades when the character is animated with body poses different than the training observations. We propose an animatable human model based on 3D Gaussian Splatting, that has recently emerged as a very efficient alternative to neural radiance fields. The body is represented by a set of gaussian primitives in a canonical space which is deformed with a coarse to fine approach that combines forward skinning and local non-rigid refinement. We describe how to learn our Human Gaussian Splatting (HuGS) model in an end-to-end fashion from multi-view observations, and evaluate it against the state-of-the-art approaches for novel pose synthesis of clothed body. Our method achieves 1.5 dB PSNR improvement over the state-of-the-art on THuman4 dataset while being able to render in real-time (80 fps for 512×512 resolution).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google