DOF-GS: Adjustable Depth-of-Field 3D Gaussian Splatting for Refocusing,Defocus Rendering and Blur Removal

要約

3D ガウス スプラッティング ベースの技術は最近、3D シーンの再構成と新しいビューの合成を進歩させ、高品質のリアルタイム レンダリングを実現しています。
ただし、これらのアプローチは、画像のモデリングにおける基礎となるピンホール カメラの仮定によって本質的に制限されるため、オールインフォーカス (AiF) の鮮明な画像入力に対してのみ機能します。
これは、撮像デバイスの被写界深度 (DOF) が限られているため、画像が焦点ぼけを示すことが多い現実のシナリオでの適用性に重大な影響を与えます。
さらに、既存の 3D ガウス スプラッティング (3DGS) 手法も、DOF 効果のレンダリングをサポートしていません。
これらの課題に対処するために、焦点ぼけによって劣化したマルチビュー画像から、調整可能な DOF 効果をレンダリングし、焦点ぼけの除去と 3D シーンの再焦点合わせを可能にする DOF-GS を導入します。
この目的を達成するために、混乱の輪 (CoC) によって導かれる明示的で微分可能な焦点ぼけレンダリングと組み合わせた有限開口カメラ モデルを採用することで、従来のガウス スプラッティング パイプラインを再考しました。
提案されたフレームワークは、基礎となるカメラ モデルの絞りと焦点距離をオンデマンドで変更することにより、DOF 効果を動的に調整できます。
また、最適化後の 3D シーンのさまざまな DOF 効果をレンダリングしたり、焦点をぼかしたトレーニング画像から AiF 画像を生成したりすることもできます。
さらに、レンダリングされた焦点ぼけ画像と AiF 画像を共同最適化することで、再構成されたシーンのディテールをさらに強化するための共同最適化戦略を考案しました。
私たちの実験結果は、DOF-GS が、トレーニング プロセスによる GPU メモリ消費量のわずかな増加のみで、焦点ぼけによって損なわれた入力を条件として、高品質で鮮明な全焦点レンダリングを生成することを示しています。
さらに、調整可能な焦点ぼけレンダリングと、焦点ぼけによって劣化した入力画像からの 3D シーンの再焦点合わせに対する、提案された方法のアプリケーションを実証します。

要約(オリジナル)

3D Gaussian Splatting-based techniques have recently advanced 3D scene reconstruction and novel view synthesis, achieving high-quality real-time rendering. However, these approaches are inherently limited by the underlying pinhole camera assumption in modeling the images and hence only work for All-in-Focus (AiF) sharp image inputs. This severely affects their applicability in real-world scenarios where images often exhibit defocus blur due to the limited depth-of-field (DOF) of imaging devices. Additionally, existing 3D Gaussian Splatting (3DGS) methods also do not support rendering of DOF effects. To address these challenges, we introduce DOF-GS that allows for rendering adjustable DOF effects, removing defocus blur as well as refocusing of 3D scenes, all from multi-view images degraded by defocus blur. To this end, we re-imagine the traditional Gaussian Splatting pipeline by employing a finite aperture camera model coupled with explicit, differentiable defocus rendering guided by the Circle-of-Confusion (CoC). The proposed framework provides for dynamic adjustment of DOF effects by changing the aperture and focal distance of the underlying camera model on-demand. It also enables rendering varying DOF effects of 3D scenes post-optimization, and generating AiF images from defocused training images. Furthermore, we devise a joint optimization strategy to further enhance details in the reconstructed scenes by jointly optimizing rendered defocused and AiF images. Our experimental results indicate that DOF-GS produces high-quality sharp all-in-focus renderings conditioned on inputs compromised by defocus blur, with the training process incurring only a modest increase in GPU memory consumption. We further demonstrate the applications of the proposed method for adjustable defocus rendering and refocusing of the 3D scene from input images degraded by defocus blur.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google