D-MiSo: Editing Dynamic 3D Scenes using Multi-Gaussians Soup

要約

過去数年間、我々はガウススプラッティング（Gaussian Splatting：GS）を用いて動的な3Dシーンをモデリングするための豊富なアプローチを観察してきた。このようなソリューションは、シーンの構造を表現するためにGSを使用し、ダイナミクスをモデル化するためにニューラルネットワークを使用します。このようなアプローチは、このような動的シーンの各要素を高速にレンダリングし、抽出することを可能にする。しかし、このようなオブジェクトを時間経過とともに変更することは困難である。変形制御点で強化されたSC-GS（Sparse Controlled Gaussian Splatting）は、この問題を部分的に解決する。しかし、このアプローチでは、固定する必要のある要素や、編集中に調整する必要のある中心点を選択する必要がある。さらに、この作業は、このような編集の再生産性に関してさらなる困難をもたらす。これに対処するために、我々は動的GSのメッシュにインスパイアされた表現をモデル化することを可能にする動的マルチガウススープ(D-MiSo)を提案する。さらに、パラメータ化されたガウススプラットを連結し、推定されたメッシュとトライアングルスープを形成する戦略を提案する。その結果、シーンを構成する3Dオブジェクトの新しい軌道を個別に構築することができる。このようにして、シーンのダイナミックを時間と共に、あるいは部分的なダイナミクスを維持しながら編集可能にすることができる。

要約(オリジナル)

Over the past years, we have observed an abundance of approaches for modeling dynamic 3D scenes using Gaussian Splatting (GS). Such solutions use GS to represent the scene’s structure and the neural network to model dynamics. Such approaches allow fast rendering and extracting each element of such a dynamic scene. However, modifying such objects over time is challenging. SC-GS (Sparse Controlled Gaussian Splatting) enhanced with Deformed Control Points partially solves this issue. However, this approach necessitates selecting elements that need to be kept fixed, as well as centroids that should be adjusted throughout editing. Moreover, this task poses additional difficulties regarding the re-productivity of such editing. To address this, we propose Dynamic Multi-Gaussian Soup (D-MiSo), which allows us to model the mesh-inspired representation of dynamic GS. Additionally, we propose a strategy of linking parameterized Gaussian splats, forming a Triangle Soup with the estimated mesh. Consequently, we can separately construct new trajectories for the 3D objects composing the scene. Thus, we can make the scene’s dynamic editable over time or while maintaining partial dynamics.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL