HDRSplat: Gaussian Splatting for High Dynamic Range 3D Scene Reconstruction from Raw Images

要約

最近の 3D ガウス スプラッティング (3DGS) の出現により、3D シーン再構築空間に革命が起こり、リアルタイムでの高忠実度の新規ビュー合成が可能になりました。
ただし、RawNeRF を除いて、以前のすべての 3DGS および NeRF ベースの方法は、シーンの再構成に 8 ビットのトーン マップされたロー ダイナミック レンジ (LDR) 画像に依存しています。
このような方法では、より高いダイナミック レンジが必要なシーンで正確な再構成を実現するのが困難です。
例としては、信号対雑音比が低い夜間または薄暗い屋内空間で撮影されたシーンや、影の領域が極端なコントラストを示す日中のシーンなどがあります。
私たちが提案する HDRSplat は、暗闇に近い環境で 14 ビットの線形生画像を直接トレーニングするように 3DGS を調整し、シーンのダイナミック レンジとコンテンツを完全に維持します。
私たちの主な貢献は 2 つあります。まず、ノイズの多い暗い領域とほぼ飽和した明るい領域からシーン情報を効果的に抽出すると同時に、球面調和関数の度合いを増加させることなくビュー依存の色を処理する線形 HDR 空間適合損失を提案します。
第 2 に、注意深いラスタライズ調整を通じて、点群の初期化に対する 3DGS の大きな依存と感度を暗黙的に克服します。
これは、テクスチャが低く、被写界深度が深く、照明が低い領域での正確な再構成にとって重要です。
HDRSplat は、14 ビット (HDR) 3D シーンの再構築を 1 シーンあたり $\le$15 分で行う、これまでで最も速い方法です (以前の最先端の RawNeRF よりも $\sim$30 倍高速です)。
また、$\ge$120fps という最速の推論速度を誇ります。
さらに、合成デフォーカス、高密度深度マップ抽出、露出、トーン マッピング、視点のキャプチャ後の制御などのさまざまなアプリケーションを紹介することで、HDR シーン再構成の適用性を実証します。

要約(オリジナル)

The recent advent of 3D Gaussian Splatting (3DGS) has revolutionized the 3D scene reconstruction space enabling high-fidelity novel view synthesis in real-time. However, with the exception of RawNeRF, all prior 3DGS and NeRF-based methods rely on 8-bit tone-mapped Low Dynamic Range (LDR) images for scene reconstruction. Such methods struggle to achieve accurate reconstructions in scenes that require a higher dynamic range. Examples include scenes captured in nighttime or poorly lit indoor spaces having a low signal-to-noise ratio, as well as daylight scenes with shadow regions exhibiting extreme contrast. Our proposed method HDRSplat tailors 3DGS to train directly on 14-bit linear raw images in near darkness which preserves the scenes’ full dynamic range and content. Our key contributions are two-fold: Firstly, we propose a linear HDR space-suited loss that effectively extracts scene information from noisy dark regions and nearly saturated bright regions simultaneously, while also handling view-dependent colors without increasing the degree of spherical harmonics. Secondly, through careful rasterization tuning, we implicitly overcome the heavy reliance and sensitivity of 3DGS on point cloud initialization. This is critical for accurate reconstruction in regions of low texture, high depth of field, and low illumination. HDRSplat is the fastest method to date that does 14-bit (HDR) 3D scene reconstruction in $\le$15 minutes/scene ($\sim$30x faster than prior state-of-the-art RawNeRF). It also boasts the fastest inference speed at $\ge$120fps. We further demonstrate the applicability of our HDR scene reconstruction by showcasing various applications like synthetic defocus, dense depth map extraction, and post-capture control of exposure, tone-mapping and view-point.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google