GoMAvatar: Efficient Animatable Human Modeling from Monocular Video Using Gaussians-on-Mesh

要約

リアルタイム、メモリ効率の高い、アニメーション可能な高品質の人間モデリングのための新しいアプローチである GoMAvatar を紹介します。
GoMAvatar は、単一の単眼ビデオを入力として受け取り、新しいポーズでの再関節表現や新しい視点からのリアルタイム レンダリングが可能なデジタル アバターを作成し、同時にラスタライゼーション ベースのグラフィックス パイプラインとシームレスに統合します。
私たちの手法の中心となるのは、ガウス オン メッシュ表現です。これは、ガウス スプラッティングのレンダリング品質と速度を、ジオメトリ モデリングと変形可能なメッシュの互換性と組み合わせたハイブリッド 3D モデルです。
ZJU-MoCap データとさまざまな YouTube 動画で GoMAvatar を評価します。
GoMAvatar は、レンダリング品質において現在の単眼人間モデリング アルゴリズムと同等かそれを上回り、メモリ効率 (被験者あたり 3.63 MB) でありながら、計算効率 (43 FPS) においてもアルゴリズムを大幅に上回っています。

要約(オリジナル)

We introduce GoMAvatar, a novel approach for real-time, memory-efficient, high-quality animatable human modeling. GoMAvatar takes as input a single monocular video to create a digital avatar capable of re-articulation in new poses and real-time rendering from novel viewpoints, while seamlessly integrating with rasterization-based graphics pipelines. Central to our method is the Gaussians-on-Mesh representation, a hybrid 3D model combining rendering quality and speed of Gaussian splatting with geometry modeling and compatibility of deformable meshes. We assess GoMAvatar on ZJU-MoCap data and various YouTube videos. GoMAvatar matches or surpasses current monocular human modeling algorithms in rendering quality and significantly outperforms them in computational efficiency (43 FPS) while being memory-efficient (3.63 MB per subject).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google