HDR-GS: Efficient High Dynamic Range Novel View Synthesis at 1000x Speed via Gaussian Splatting

要約

ハイ ダイナミック レンジ (HDR) のノベル ビュー合成 (NVS) は、HDR イメージング技術を使用して、新しい視点からフォトリアリスティックなイメージを作成することを目的としています。
レンダリングされた HDR イメージは、通常のロー ダイナミック レンジ (LDR) イメージよりもシーンの詳細を含む幅広い輝度レベルをキャプチャします。
既存の HDR NVS 手法は主に NeRF に基づいています。
彼らは、長いトレーニング時間と遅い推論速度に悩まされています。
この論文では、新しいフレームワークであるハイ ダイナミック レンジ ガウス スプラッティング (HDR-GS) を提案します。これは、新しい HDR ビューを効率的にレンダリングし、ユーザーが入力した露出時間で LDR 画像を再構成できます。
具体的には、球面調和関数を使用して HDR カラーに適合し、MLP ベースのトーン マッパーを使用して LDR カラーをレンダリングするデュアル ダイナミック レンジ (DDR) ガウス点群モデルを設計します。
次に、HDR および LDR カラーは 2 つの並列微分可能ラスタライゼーション (PDR) プロセスに供給され、HDR および LDR ビューが再構築されます。
HDR NVS における 3D ガウス スプラッティング ベースの手法の研究のためのデータ基盤を確立するために、カメラ パラメーターを再調整し、ガウス点群の初期位置を計算します。
実験の結果、当社の HDR-GS は、LDR および HDR NVS で最先端の NeRF ベースの手法を 3.84 dB および 1.91 dB 上回り、1000 倍の推論速度を実現し、必要なトレーニング時間はわずか 6.3% であることが実証されました。
コード、モデル、再調整されたデータは https://github.com/caiyuanhao1998/HDR-GS で公開されます。

要約(オリジナル)

High dynamic range (HDR) novel view synthesis (NVS) aims to create photorealistic images from novel viewpoints using HDR imaging techniques. The rendered HDR images capture a wider range of brightness levels containing more details of the scene than normal low dynamic range (LDR) images. Existing HDR NVS methods are mainly based on NeRF. They suffer from long training time and slow inference speed. In this paper, we propose a new framework, High Dynamic Range Gaussian Splatting (HDR-GS), which can efficiently render novel HDR views and reconstruct LDR images with a user input exposure time. Specifically, we design a Dual Dynamic Range (DDR) Gaussian point cloud model that uses spherical harmonics to fit HDR color and employs an MLP-based tone-mapper to render LDR color. The HDR and LDR colors are then fed into two Parallel Differentiable Rasterization (PDR) processes to reconstruct HDR and LDR views. To establish the data foundation for the research of 3D Gaussian splatting-based methods in HDR NVS, we recalibrate the camera parameters and compute the initial positions for Gaussian point clouds. Experiments demonstrate that our HDR-GS surpasses the state-of-the-art NeRF-based method by 3.84 and 1.91 dB on LDR and HDR NVS while enjoying 1000x inference speed and only requiring 6.3% training time. Code, models, and recalibrated data will be publicly available at https://github.com/caiyuanhao1998/HDR-GS

arxiv情報

提供元, 利用サービス

arxiv.jp, Google