HUGS: Human Gaussian Splats

要約

ニューラル レンダリングの最近の進歩により、トレーニング時間とレンダリング時間の両方が桁違いに改善されました。
これらの方法は最先端の品質と速度を示していますが、静的なシーンの写真測量用に設計されており、環境内で自由に移動する人間にはあまり一般化できません。
この作品では、アニメーション可能な人間を表現する Human Gaussian Splats (HUGS) と 3D Gaussian Splatting (3DGS) を使用したシーンを導入します。
私たちの手法は、少数 (50 ～ 100) フレームの単眼ビデオのみを取得し、静的なシーンと完全にアニメーション化可能な人間のアバターを 30 分以内に解きほぐす方法を自動的に学習します。
SMPL ボディ モデルを利用して人間のガウス分布を初期化します。
SMPL によってモデル化されていない詳細 (布地、髪の毛など) をキャプチャするために、3D ガウスが人体モデルから逸脱することを許可します。
アニメーション人間に 3D ガウスを利用すると、ガウスを表現するときに作成されるアーティファクトなど、新たな課題が生じます。
アニメーション中の個々のガウスの動きを調整するために、線形ブレンド スキニング ウェイトを共同で最適化することを提案します。
私たちのアプローチにより、人物の新しいポーズの合成と、人物とシーンの両方の新しいビューの合成が可能になります。
60 FPS のレンダリング速度で最先端のレンダリング品質を実現しながら、以前の作業に比べてトレーニング速度が最大 100 倍速くなります。
私たちのコードはここで発表されます: https://github.com/apple/ml-hugs

要約(オリジナル)

Recent advances in neural rendering have improved both training and rendering times by orders of magnitude. While these methods demonstrate state-of-the-art quality and speed, they are designed for photogrammetry of static scenes and do not generalize well to freely moving humans in the environment. In this work, we introduce Human Gaussian Splats (HUGS) that represents an animatable human together with the scene using 3D Gaussian Splatting (3DGS). Our method takes only a monocular video with a small number of (50-100) frames, and it automatically learns to disentangle the static scene and a fully animatable human avatar within 30 minutes. We utilize the SMPL body model to initialize the human Gaussians. To capture details that are not modeled by SMPL (e.g. cloth, hairs), we allow the 3D Gaussians to deviate from the human body model. Utilizing 3D Gaussians for animated humans brings new challenges, including the artifacts created when articulating the Gaussians. We propose to jointly optimize the linear blend skinning weights to coordinate the movements of individual Gaussians during animation. Our approach enables novel-pose synthesis of human and novel view synthesis of both the human and the scene. We achieve state-of-the-art rendering quality with a rendering speed of 60 FPS while being ~100x faster to train over previous work. Our code will be announced here: https://github.com/apple/ml-hugs

arxiv情報

提供元, 利用サービス

arxiv.jp, Google