From Chaos to Clarity: 3DGS in the Dark

要約

RAW 画像からの新規ビュー合成は、低ダイナミック レンジ RGB 画像からの再構成と比較して、優れたハイ ダイナミック レンジ (HDR) 情報を提供します。
ただし、未処理の生画像に固有のノイズにより、3D シーン表現の精度が損なわれます。
私たちの調査では、3D ガウス スプラッティング (3DGS) がこのノイズの影響を特に受けやすく、ノイズに過剰適合する多数の細長いガウス形状が発生するため、特にビューが限られたシナリオでは、再構築の品質が大幅に低下し、推論速度が低下することが明らかになりました。
これらの問題に対処するために、限られた数のノイズを含む RAW 画像から HDR 3DGS を再構築するように設計された新しい自己教師あり学習フレームワークを導入します。
このフレームワークは、ノイズ抽出器を統合し、事前のノイズ分布を利用するノイズに強い再構成損失を採用することにより、3DGS を強化します。
実験結果は、私たちの手法が、広範囲のトレーニングビューにわたって、RawNeRF データセットの再構成品質と推論速度の両方において、LDR/HDR 3DGS および以前の最先端 (SOTA) 自己教師ありおよび教師付き事前トレーニング済みモデルよりも優れていることを示しています。
。
コードは \url{https://lizhihao6.github.io/Raw3DGS} にあります。

要約(オリジナル)

Novel view synthesis from raw images provides superior high dynamic range (HDR) information compared to reconstructions from low dynamic range RGB images. However, the inherent noise in unprocessed raw images compromises the accuracy of 3D scene representation. Our study reveals that 3D Gaussian Splatting (3DGS) is particularly susceptible to this noise, leading to numerous elongated Gaussian shapes that overfit the noise, thereby significantly degrading reconstruction quality and reducing inference speed, especially in scenarios with limited views. To address these issues, we introduce a novel self-supervised learning framework designed to reconstruct HDR 3DGS from a limited number of noisy raw images. This framework enhances 3DGS by integrating a noise extractor and employing a noise-robust reconstruction loss that leverages a noise distribution prior. Experimental results show that our method outperforms LDR/HDR 3DGS and previous state-of-the-art (SOTA) self-supervised and supervised pre-trained models in both reconstruction quality and inference speed on the RawNeRF dataset across a broad range of training views. Code can be found in \url{https://lizhihao6.github.io/Raw3DGS}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google