Monocular Dynamic Gaussian Splatting is Fast and Brittle but Smooth Motion Helps

要約

ガウス スプラッティング法は、マルチビュー画像データをビュー合成を可能にするシーン表現に変換するための一般的なアプローチとして浮上しています。
特に、単眼入力データのみを使用して動的シーンのビュー合成を可能にすることに関心が集まっています。これは不適切な設定であり、困難な問題です。
この分野での研究のペースが速いため、最も効果的であると主張する複数の論文が同時に作成されていますが、すべてが真実であるとは限りません。
この研究では、多くのガウス スプラッティング ベースの手法を整理、ベンチマーク、分析し、以前の研究には欠けていた同一の比較を提供します。
私たちは、複数の既存のデータセットと、再構築の品質に影響を与える要因を分離するように設計された新しい有益な合成データセットを使用します。
私たちはガウス スプラッティング手法を体系的に特定のモーション表現タイプに分類し、それらの違いがパフォーマンスにどのような影響を与えるかを定量化します。
経験的に、それらの順位は合成データでは明確に定義されていますが、現時点では現実世界のデータの複雑さがその違いを圧倒していることがわかります。
さらに、すべてのガウス ベースのメソッドの高速レンダリング速度は、最適化の脆弱性を犠牲にしています。
私たちは、この活発な問題設定のさらなる進歩に役立つ発見のリストに実験を要約します。
プロジェクトの Web ページ: https://lynl7130.github.io/MonoDyGauBench.github.io/

要約(オリジナル)

Gaussian splatting methods are emerging as a popular approach for converting multi-view image data into scene representations that allow view synthesis. In particular, there is interest in enabling view synthesis for dynamic scenes using only monocular input data — an ill-posed and challenging problem. The fast pace of work in this area has produced multiple simultaneous papers that claim to work best, which cannot all be true. In this work, we organize, benchmark, and analyze many Gaussian-splatting-based methods, providing apples-to-apples comparisons that prior works have lacked. We use multiple existing datasets and a new instructive synthetic dataset designed to isolate factors that affect reconstruction quality. We systematically categorize Gaussian splatting methods into specific motion representation types and quantify how their differences impact performance. Empirically, we find that their rank order is well-defined in synthetic data, but the complexity of real-world data currently overwhelms the differences. Furthermore, the fast rendering speed of all Gaussian-based methods comes at the cost of brittleness in optimization. We summarize our experiments into a list of findings that can help to further progress in this lively problem setting. Project Webpage: https://lynl7130.github.io/MonoDyGauBench.github.io/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google