FreeTimeGS: Free Gaussian Primitives at Anytime and Anywhere for Dynamic Scene Reconstruction

要約

このペーパーでは、複雑な動きで動的な3Dシーンを再構築するという課題に取り組んでいます。
最近の作品には、標準空間で3Dガウスプリミティブを定義し、変形場を使用して標準的なプリミティブを観察スペースにマッピングし、リアルタイムの動的ビュー合成を達成します。
ただし、これらの方法は、変形場を最適化するのが難しいため、複雑な動きでシーンを処理するのに苦労しています。
この問題を克服するために、Gaussian Primitivesが任意の時間と場所に現れることを可能にする新しい4D表現であるFreetimegsを提案します。
標準的なガウスプリミティブとは対照的に、私たちの表現は強力な柔軟性を備えているため、動的な3Dシーンをモデル化する能力が向上します。
さらに、各ガウス原始を運動関数に導き、時間の経過とともに隣接する領域に移動できるようにし、時間的冗長性が低下します。
実験の結果、いくつかのデータセットでの結果は、私たちの方法のレンダリング品質が最近の方法を大きなマージンで上回ることを示しています。
プロジェクトページ：https：//zju3dv.github.io/freetimegs/。

要約(オリジナル)

This paper addresses the challenge of reconstructing dynamic 3D scenes with complex motions. Some recent works define 3D Gaussian primitives in the canonical space and use deformation fields to map canonical primitives to observation spaces, achieving real-time dynamic view synthesis. However, these methods often struggle to handle scenes with complex motions due to the difficulty of optimizing deformation fields. To overcome this problem, we propose FreeTimeGS, a novel 4D representation that allows Gaussian primitives to appear at arbitrary time and locations. In contrast to canonical Gaussian primitives, our representation possesses the strong flexibility, thus improving the ability to model dynamic 3D scenes. In addition, we endow each Gaussian primitive with an motion function, allowing it to move to neighboring regions over time, which reduces the temporal redundancy. Experiments results on several datasets show that the rendering quality of our method outperforms recent methods by a large margin. Project page: https://zju3dv.github.io/freetimegs/ .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google