DAS3R: Dynamics-Aware Gaussian Splatting for Static Scene Reconstruction

要約

私たちは、日常のビデオからシーンの分解と静的な背景を再構築するための新しいフレームワークを提案します。
トレーニングされたモーション マスクを統合し、ダイナミクスを意識した最適化により静的シーンをガウス スプラットとしてモデル化することにより、私たちの方法は以前の研究よりも正確な背景再構成結果を実現します。
私たちが提案した手法は、Dynamics-Aware Gaussian Splatting for Static Sc​​ene Reconstruction の略語で、DAS3R と呼ばれています。
既存の方法と比較して、DAS3R は複雑なモーション シナリオでより堅牢であり、動的オブジェクトがシーンの重要な部分を占めるビデオを処理でき、カメラのポーズ入力や SLAM ベースの方法からの点群データを必要としません。
私たちは、DAS3R を、DAVIS および Sintel データセットに対する最近のディストラクターフリーのアプローチと比較しました。
DAS3R は、PSNR で 2 dB 以上のマージンを備えた強化されたパフォーマンスと堅牢性を示します。
プロジェクトの Web ページには \url{https://kai422.github.io/DAS3R/} からアクセスできます。

要約(オリジナル)

We propose a novel framework for scene decomposition and static background reconstruction from everyday videos. By integrating the trained motion masks and modeling the static scene as Gaussian splats with dynamics-aware optimization, our method achieves more accurate background reconstruction results than previous works. Our proposed method is termed DAS3R, an abbreviation for Dynamics-Aware Gaussian Splatting for Static Scene Reconstruction. Compared to existing methods, DAS3R is more robust in complex motion scenarios, capable of handling videos where dynamic objects occupy a significant portion of the scene, and does not require camera pose inputs or point cloud data from SLAM-based methods. We compared DAS3R against recent distractor-free approaches on the DAVIS and Sintel datasets; DAS3R demonstrates enhanced performance and robustness with a margin of more than 2 dB in PSNR. The project’s webpage can be accessed via \url{https://kai422.github.io/DAS3R/}

arxiv情報

提供元, 利用サービス

arxiv.jp, Google