Time of the Flight of the Gaussians: Optimizing Depth Indirectly in Dynamic Radiance Fields

要約

単眼の連続波の飛行時間（C-TOF）カメラから動的シーンを再構築する方法を提示します。
単一の視点から高忠実度の動的3D再構成を迅速に達成することは、コンピュータービジョンにおける重要な課題です。
C-TOF Radianceフィールド再構成では、関心のある特性は直接測定されておらず、追加の課題を引き起こします。
この問題は、3Dガウススプラッティングのような高速プリミティブベースのシーン表現を使用する場合、最適化に大きく過小評価されている影響を及ぼします。これは、マルチビューデータで一般的に使用されて満足のいく結果を生成し、それ以外の場合は脆弱です。
2つのヒューリスティックを最適化に組み込み、ガウスが表すシーンジオメトリの精度を改善します。
実験結果は、私たちのアプローチが、野球のバットの揺れなどの高速な動きを含む、制約されたC-TOFセンシング条件下で正確な再構成を生成することを示しています。
https://visual.cs.brown.edu/gftorf

要約(オリジナル)

We present a method to reconstruct dynamic scenes from monocular continuous-wave time-of-flight (C-ToF) cameras using raw sensor samples that achieves similar or better accuracy than neural volumetric approaches and is 100x faster. Quickly achieving high-fidelity dynamic 3D reconstruction from a single viewpoint is a significant challenge in computer vision. In C-ToF radiance field reconstruction, the property of interest-depth-is not directly measured, causing an additional challenge. This problem has a large and underappreciated impact upon the optimization when using a fast primitive-based scene representation like 3D Gaussian splatting, which is commonly used with multi-view data to produce satisfactory results and is brittle in its optimization otherwise. We incorporate two heuristics into the optimization to improve the accuracy of scene geometry represented by Gaussians. Experimental results show that our approach produces accurate reconstructions under constrained C-ToF sensing conditions, including for fast motions like swinging baseball bats. https://visual.cs.brown.edu/gftorf

arxiv情報

提供元, 利用サービス

arxiv.jp, Google