CasualHDRSplat: Robust High Dynamic Range 3D Gaussian Splatting from Casually Captured Videos

要約

最近、ニューラル放射輝度フィールド（NERF）や3Dガウスのスプラッティング（3DG）などのマルチビュー画像からの写真リアリックな新規ビューの合成は、優れたパフォーマンスのために広範囲にわたる注目を集めています。
ただし、ほとんどの作業は低ダイナミックレンジ（LDR）画像に依存しており、シーンの詳細のキャプチャを制限しています。
一部の以前の作品では、高ダイナミックレンジ（HDR）シーンの再構築に焦点を当てています。通常、露出時間中に固定カメラの位置で異なる露出時間を持つマルチビューシャープ画像をキャプチャする必要があります。
より柔軟なデータ収集のために、1段階の方法を提案します：\ textBf {casuaryHdrsplat}は、重度の動きのぼかしが存在していても、自動暴露を有効にして、カジュアルにキャプチャされたビデオから3D HDRシーンを簡単かつ堅牢に再構築します。
\ textbf {casuaryHdrsPlat}には、露出時間、カメラ応答機能（CRF）、カメラポーズ、およびシャープな3D HDRシーンを共同で最適化できるように、最初に連続時間軌道制約をイメージングプロセスに適用する統合可能な物理イメージングモデルが含まれています。
広範な実験は、私たちのアプローチが堅牢性と品質を提供するという点で既存の方法よりも優れていることを示しています。
ソースコードはhttps://github.com/wu-cvgl/casualhdrsplatで入手できます

要約(オリジナル)

Recently, photo-realistic novel view synthesis from multi-view images, such as neural radiance field (NeRF) and 3D Gaussian Splatting (3DGS), have garnered widespread attention due to their superior performance. However, most works rely on low dynamic range (LDR) images, which limits the capturing of richer scene details. Some prior works have focused on high dynamic range (HDR) scene reconstruction, typically require capturing of multi-view sharp images with different exposure times at fixed camera positions during exposure times, which is time-consuming and challenging in practice. For a more flexible data acquisition, we propose a one-stage method: \textbf{CasualHDRSplat} to easily and robustly reconstruct the 3D HDR scene from casually captured videos with auto-exposure enabled, even in the presence of severe motion blur and varying unknown exposure time. \textbf{CasualHDRSplat} contains a unified differentiable physical imaging model which first applies continuous-time trajectory constraint to imaging process so that we can jointly optimize exposure time, camera response function (CRF), camera poses, and sharp 3D HDR scene. Extensive experiments demonstrate that our approach outperforms existing methods in terms of robustness and rendering quality. Our source code will be available at https://github.com/WU-CVGL/CasualHDRSplat

arxiv情報

提供元, 利用サービス

arxiv.jp, Google