Luminance-GS: Adapting 3D Gaussian Splatting to Challenging Lighting Conditions with View-Adaptive Curve Adjustment

要約

多様な現実世界の照明条件下で高品質の写真をキャプチャすることは、自然照明（低光）とカメラの露出設定（露出時間など）の両方が画質に大きな影響を与えるため、困難です。
この課題は、マルチビューシナリオでより顕著になります。このシナリオでは、視点間の照明と画像信号プロセッサ（ISP）の設定が測光の矛盾を導入します。
このような照明の劣化と視聴依存のバリエーションは、神経放射輝度フィールド（NERF）と3Dガウスの飛び散（3DG）に基づく新規ビュー合成（NVS）フレームワークに大きな課題をもたらします。
これに対処するために、3DGを使用した多様な挑戦的な照明条件の下で高品質の新規ビュー合成結果を達成するための新しいアプローチであるLuminance-GSを紹介します。
ビューごとの色マトリックスマッピングとビュー適応曲線調整を採用することにより、Luminance-GSは、元の3DGS明示的表現を変更することはありませんが、低光、過剰露出、曝露の変化を含むさまざまな照明条件で最先端の（SOTA）結果を達成します。
以前のNERFおよび3DGSベースのベースラインと比較して、Luminance-GSはリアルタイムのレンダリング速度を改善し、再構築品質を向上させます。

要約(オリジナル)

Capturing high-quality photographs under diverse real-world lighting conditions is challenging, as both natural lighting (e.g., low-light) and camera exposure settings (e.g., exposure time) significantly impact image quality. This challenge becomes more pronounced in multi-view scenarios, where variations in lighting and image signal processor (ISP) settings across viewpoints introduce photometric inconsistencies. Such lighting degradations and view-dependent variations pose substantial challenges to novel view synthesis (NVS) frameworks based on Neural Radiance Fields (NeRF) and 3D Gaussian Splatting (3DGS). To address this, we introduce Luminance-GS, a novel approach to achieving high-quality novel view synthesis results under diverse challenging lighting conditions using 3DGS. By adopting per-view color matrix mapping and view-adaptive curve adjustments, Luminance-GS achieves state-of-the-art (SOTA) results across various lighting conditions — including low-light, overexposure, and varying exposure — while not altering the original 3DGS explicit representation. Compared to previous NeRF- and 3DGS-based baselines, Luminance-GS provides real-time rendering speed with improved reconstruction quality.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google