Per-Gaussian Embedding-Based Deformation for Deformable 3D Gaussian Splatting

要約

3D ガウス スプラッティング (3DGS) は高速かつ高品質の新規ビュー合成を提供するため、動的なシーンを表現するために標準 3DGS を複数のフレームに変形するのは自然な拡張です。
しかし、これまでの作品では、複雑でダイナミックなシーンを正確に再構築できませんでした。
失敗の原因は、座標ベースの関数として構築された変形フィールドの設計にあると考えられます。
3DGS は単一の座標ベースのフレームワークではなく、ガウスを中心とする複数のフィールドの混合物であるため、このアプローチには問題があります。
この問題を解決するために、変形をガウスごとの埋め込みと時間的埋め込みの関数として定義します。
さらに、変形を粗い変形と細かい変形として分解し、それぞれ遅い動きと速い動きをモデル化します。
また、動的領域の詳細を改善するために、ガウスごとの埋め込みにローカル平滑性正則化を導入します。
プロジェクトページ：https://jeongminb.github.io/e-d3dgs/

要約(オリジナル)

As 3D Gaussian Splatting (3DGS) provides fast and high-quality novel view synthesis, it is a natural extension to deform a canonical 3DGS to multiple frames for representing a dynamic scene. However, previous works fail to accurately reconstruct complex dynamic scenes. We attribute the failure to the design of the deformation field, which is built as a coordinate-based function. This approach is problematic because 3DGS is a mixture of multiple fields centered at the Gaussians, not just a single coordinate-based framework. To resolve this problem, we define the deformation as a function of per-Gaussian embeddings and temporal embeddings. Moreover, we decompose deformations as coarse and fine deformations to model slow and fast movements, respectively. Also, we introduce a local smoothness regularization for per-Gaussian embedding to improve the details in dynamic regions. Project page: https://jeongminb.github.io/e-d3dgs/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google