Modeling Ambient Scene Dynamics for Free-view Synthesis

要約

単眼でキャプチャした環境シーンを動的に自由にビュー合成して、視聴体験に没入感をもたらす新しい方法を紹介します。
私たちの手法は、複雑な静的シーンを忠実に再構築できる 3D ガウス スプラッティング (3DGS) の最近の進歩に基づいて構築されています。
3DGS を拡張してダイナミクスを表現するこれまでの試みは、限定されたシーンに限定されていたり、マルチカメラのキャプチャが必要であったり、目に見えない動きに一般化できないことが多く、実際の応用が制限されていました。
私たちのアプローチは、周囲の動きの周期性を利用して動きの軌跡モデルを学習し、注意深い正則化と組み合わせることで、これらの制約を克服します。
また、ベースライン 3DGS 静的再構成の視覚的品質を向上させ、GPU メモリ集中学習に不可欠なメモリ効率を向上させるための重要な実践的な戦略も提案します。
複雑なテクスチャと微細な構造要素を備えたいくつかの周囲の自然シーンの、高品質でフォトリアリスティックな新しいビューの合成を実証します。

要約(オリジナル)

We introduce a novel method for dynamic free-view synthesis of an ambient scenes from a monocular capture bringing a immersive quality to the viewing experience. Our method builds upon the recent advancements in 3D Gaussian Splatting (3DGS) that can faithfully reconstruct complex static scenes. Previous attempts to extend 3DGS to represent dynamics have been confined to bounded scenes or require multi-camera captures, and often fail to generalize to unseen motions, limiting their practical application. Our approach overcomes these constraints by leveraging the periodicity of ambient motions to learn the motion trajectory model, coupled with careful regularization. We also propose important practical strategies to improve the visual quality of the baseline 3DGS static reconstructions and to improve memory efficiency critical for GPU-memory intensive learning. We demonstrate high-quality photorealistic novel view synthesis of several ambient natural scenes with intricate textures and fine structural elements.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google