MoBGS: Motion Deblurring Dynamic 3D Gaussian Splatting for Blurry Monocular Video

要約

私たちは、エンドツーエンドの方法でぼやけた単眼動画からのシャープで高品質の斬新な空間的ビューを再構築できる、新しい脱生動的3Dガウススプラッティング（3DGS）フレームワークであるMOBGSを紹介します。
既存の動的な新規ビュー合成（NVS）メソッドは、さりげなくキャプチャされたビデオのモーションブラーに非常に敏感であり、その結果、レンダリング品質が大幅に分解されます。
最近のアプローチは、NVSのモーションブルーな入力に対処しますが、主に静的シーンの再構築に焦点を当てており、動的オブジェクトの専用モーションモデリングがありません。
これらの制限を克服するために、私たちのMOBGは、効果的な潜在カメラの軌跡推定のために、新しいぼやけた潜在潜在潜在カメラ推定（BLCE）方法を導入し、グローバルなカメラの動きを改善します。
さらに、グローバルなカメラとローカルオブジェクトの両方のモーションの一貫した脱硫黄を確保するために、物理的にインスパイアされた潜在的なカメラ誘発曝露推定（LCEE）方法を提案します。
MOBGSフレームワークは、目に見えない潜在的なタイムスタンプの時間的一貫性と、静的領域と動的領域の堅牢なモーション分解を保証します。
ステレオブラーデータセットと実際のぼやけたぼやけビデオに関する広範な実験は、MOBGが非常に最近の高度な方法（Dyblurfおよびdeblur4DGS）を大幅に上回り、モーションブラーの下で動的NVの最先端のパフォーマンスを達成することを示しています。

要約(オリジナル)

We present MoBGS, a novel deblurring dynamic 3D Gaussian Splatting (3DGS) framework capable of reconstructing sharp and high-quality novel spatio-temporal views from blurry monocular videos in an end-to-end manner. Existing dynamic novel view synthesis (NVS) methods are highly sensitive to motion blur in casually captured videos, resulting in significant degradation of rendering quality. While recent approaches address motion-blurred inputs for NVS, they primarily focus on static scene reconstruction and lack dedicated motion modeling for dynamic objects. To overcome these limitations, our MoBGS introduces a novel Blur-adaptive Latent Camera Estimation (BLCE) method for effective latent camera trajectory estimation, improving global camera motion deblurring. In addition, we propose a physically-inspired Latent Camera-induced Exposure Estimation (LCEE) method to ensure consistent deblurring of both global camera and local object motion. Our MoBGS framework ensures the temporal consistency of unseen latent timestamps and robust motion decomposition of static and dynamic regions. Extensive experiments on the Stereo Blur dataset and real-world blurry videos show that our MoBGS significantly outperforms the very recent advanced methods (DyBluRF and Deblur4DGS), achieving state-of-the-art performance for dynamic NVS under motion blur.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google