HFGaussian: Learning Generalizable Gaussian Human with Integrated Human Features

要約

最近の放射輝度フィールド レンダリングの進歩により、3D シーン表現で有望な結果が得られ、ガウス スプラッティング ベースの技術がその品質と効率により最先端技術として台頭しています。
ガウス スプラッティングは、3D 人間の表現を含むさまざまなアプリケーションに広く使用されています。
ただし、以前の 3D ガウス スプラッティング手法では、パラメトリック身体モデルを追加情報として使用するか、さまざまなアプリケーションに不可欠な人間の生体力学的特徴などの基礎となる構造を提供できません。
この論文では、まばらな入力画像から 25 FPS でリアルタイムに新しいビューや人間の特徴 (3D スケルトン、3D キー ポイント、密集ポーズなど) を推定できる HFGaussian と呼ばれる新しいアプローチを紹介します。
提案された方法は、一般化可能なガウス スプラッティング技術を活用して人間の被写体とそれに関連する特徴を表現し、効率的かつ一般化可能な再構築を可能にします。
ポーズ回帰ネットワークとガウス スプラッティングによる特徴スプラッティング手法を組み込むことにより、HFGaussian は既存の 3D 人間手法よりも向上した機能を実証し、統合された生体力学による 3D 人間表現の可能性を示します。
私たちは、ヒューマン ガウス スプラッティングおよび姿勢推定における最新の最先端技術と照らし合わせて HFGaussian メソッドを徹底的に評価し、そのリアルタイムの最先端のパフォーマンスを実証します。

要約(オリジナル)

Recent advancements in radiance field rendering show promising results in 3D scene representation, where Gaussian splatting-based techniques emerge as state-of-the-art due to their quality and efficiency. Gaussian splatting is widely used for various applications, including 3D human representation. However, previous 3D Gaussian splatting methods either use parametric body models as additional information or fail to provide any underlying structure, like human biomechanical features, which are essential for different applications. In this paper, we present a novel approach called HFGaussian that can estimate novel views and human features, such as the 3D skeleton, 3D key points, and dense pose, from sparse input images in real time at 25 FPS. The proposed method leverages generalizable Gaussian splatting technique to represent the human subject and its associated features, enabling efficient and generalizable reconstruction. By incorporating a pose regression network and the feature splatting technique with Gaussian splatting, HFGaussian demonstrates improved capabilities over existing 3D human methods, showcasing the potential of 3D human representations with integrated biomechanics. We thoroughly evaluate our HFGaussian method against the latest state-of-the-art techniques in human Gaussian splatting and pose estimation, demonstrating its real-time, state-of-the-art performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google