Per-Gaussian Embedding-Based Deformation for Deformable 3D Gaussian Splatting

要約

3D Gaussian Splatting (3DGS)は高速かつ高品質な新規ビュー合成を提供するため、正統的な3DGSを複数フレームに変形することは自然な拡張である。しかし、これまでの研究では、特に1）静的な部分が近くの動的な部分に沿って動く、2）動的な領域がぼやけている、などの動的なシーンを正確に再構成することができなかった。我々はこの失敗を、座標ベースの関数として構築される変形場の誤った設計に起因すると考えている。3DGSは、単一の座標ベースの枠組みではなく、ガウシアンを中心とした複数の場の混合であるため、このアプローチには問題がある。この問題を解決するために、我々は変形をガウス毎の埋め込みと時間的埋め込みの関数として定義する。さらに、変形を粗い変形と細かい変形に分解し、それぞれ遅い動きと速い動きをモデル化する。また、より速く収束し、より高い品質を得るための効率的な学習戦略を紹介する。プロジェクトページ: https://jeongminb.github.io/e-d3dgs/

要約(オリジナル)

As 3D Gaussian Splatting (3DGS) provides fast and high-quality novel view synthesis, it is a natural extension to deform a canonical 3DGS to multiple frames. However, previous works fail to accurately reconstruct dynamic scenes, especially 1) static parts moving along nearby dynamic parts, and 2) some dynamic areas are blurry. We attribute the failure to the wrong design of the deformation field, which is built as a coordinate-based function. This approach is problematic because 3DGS is a mixture of multiple fields centered at the Gaussians, not just a single coordinate-based framework. To resolve this problem, we define the deformation as a function of per-Gaussian embeddings and temporal embeddings. Moreover, we decompose deformations as coarse and fine deformations to model slow and fast movements, respectively. Also, we introduce an efficient training strategy for faster convergence and higher quality. Project page: https://jeongminb.github.io/e-d3dgs/

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL