HDR-Plenoxels: Self-Calibrating High Dynamic Range Radiance Fields

要約

高ダイナミック レンジ (HDR) 放射輝度フィールド、HDR-Plenoxels を提案します。これは、3D HDR 放射輝度フィールドのプレノプティック関数、ジオメトリ情報、および 2D 低ダイナミック レンジ (LDR) 画像に固有のさまざまなカメラ設定を学習します。
当社のボクセルベースのボリューム レンダリング パイプラインは、さまざまなカメラ設定からエンドツーエンドで取得したマルチビュー LDR 画像のみを使用して HDR 放射輝度フィールドを再構築し、収束速度が高速です。
現実世界のシナリオでさまざまなカメラに対処するために、デジタル インカメラ イメージング パイプライン (ISP) をモデル化し、放射測定設定を解くトーン マッピング モジュールを導入します。
トーン マッピング モジュールを使用すると、各新規ビューの放射測定設定を制御してレンダリングできます。
最後に、さまざまなカメラ条件でマルチビュー データセットを構築します。これは、問題の設定に適合します。
私たちの実験では、HDR-Plenoxels がさまざまなカメラを使用して、LDR 画像のみからディテールと高品質の HDR 斬新なビューを表現できることが示されています。

要約(オリジナル)

We propose high dynamic range (HDR) radiance fields, HDR-Plenoxels, that learn a plenoptic function of 3D HDR radiance fields, geometry information, and varying camera settings inherent in 2D low dynamic range (LDR) images. Our voxel-based volume rendering pipeline reconstructs HDR radiance fields with only multi-view LDR images taken from varying camera settings in an end-to-end manner and has a fast convergence speed. To deal with various cameras in real-world scenarios, we introduce a tone mapping module that models the digital in-camera imaging pipeline (ISP) and disentangles radiometric settings. Our tone mapping module allows us to render by controlling the radiometric settings of each novel view. Finally, we build a multi-view dataset with varying camera conditions, which fits our problem setting. Our experiments show that HDR-Plenoxels can express detail and high-quality HDR novel views from only LDR images with various cameras.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google