Gaussian Splatting on the Move: Blur and Rolling Shutter Compensation for Natural Camera Motion

要約

ガウス スプラッティング (3DGS) に基づく高品質のシーンの再構成と新しいビューの合成には通常、安定した高品質の写真が必要ですが、手持ちカメラで撮影するのは現実的ではないことがよくあります。
カメラの動きに適応し、モーション ブラーやローリング シャッター歪みが発生するハンドヘルド ビデオ データから高品質のシーン再構築を可能にする方法を提案します。
私たちのアプローチは、物理的な画像形成プロセスの詳細なモデリングに基づいており、視覚慣性オドメトリー (VIO) を使用して推定された速度を利用します。
カメラのポーズは、単一の画像フレームの露光時間中は静的ではないと見なされ、カメラのポーズは再構成プロセスでさらに最適化されます。
スクリーン空間近似を利用して、ローリング シャッター効果とモーション ブラー効果を 3DGS フレームワークに効率的に組み込む微分可能なレンダリング パイプラインを定式化します。
合成データと実際のデータの両方を使用した結果は、既存の方法よりもカメラの動きを軽減する優れたパフォーマンスを実証し、それによって自然な設定での 3DGS を進歩させます。

要約(オリジナル)

High-quality scene reconstruction and novel view synthesis based on Gaussian Splatting (3DGS) typically require steady, high-quality photographs, often impractical to capture with handheld cameras. We present a method that adapts to camera motion and allows high-quality scene reconstruction with handheld video data suffering from motion blur and rolling shutter distortion. Our approach is based on detailed modelling of the physical image formation process and utilizes velocities estimated using visual-inertial odometry (VIO). Camera poses are considered non-static during the exposure time of a single image frame and camera poses are further optimized in the reconstruction process. We formulate a differentiable rendering pipeline that leverages screen space approximation to efficiently incorporate rolling-shutter and motion blur effects into the 3DGS framework. Our results with both synthetic and real data demonstrate superior performance in mitigating camera motion over existing methods, thereby advancing 3DGS in naturalistic settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google