Cinematic Gaussians: Real-Time HDR Radiance Fields with Depth of Field

要約

放射フィールド法は、多視点写真から複雑なシーンを再構成する最先端技術です。
ただし、これらの再構成は、多くの場合、次の制限のいずれかまたは両方に悩まされます。 まず、通常、これらは低ダイナミック レンジ (LDR) でシーンを表現するため、使用が均一に照明された環境に制限され、没入型の視聴体験が妨げられます。
第二に、入力画像のすべてのシーン要素に焦点が合っていると仮定すると、ピンホール カメラ モデルに依存するため、実際的な課題が生じ、新規ビュー合成中の再焦点合わせが複雑になります。
これらの制限に対処して、我々は、ハイ ダイナミック レンジ (HDR) 放射輝度フィールドを再構成するための入力として、さまざまな露光時間、絞り、焦点距離を持つシーンのマルチビュー LDR 画像を利用する 3D ガウス スプラッティングに基づく軽量な方法を提案します。
薄型レンズ カメラ モデルとトーンマッピング モジュールに基づくガウスの分析畳み込みを組み込むことにより、再構成により、柔軟なリフォーカス機能を備えた HDR コンテンツのレンダリングが可能になります。
HDR と被写界深度を組み合わせて処理することで、リアルタイムの映画のようなレンダリングが容易になり、最先端のパフォーマンスを上回ることが実証されました。

要約(オリジナル)

Radiance field methods represent the state of the art in reconstructing complex scenes from multi-view photos. However, these reconstructions often suffer from one or both of the following limitations: First, they typically represent scenes in low dynamic range (LDR), which restricts their use to evenly lit environments and hinders immersive viewing experiences. Secondly, their reliance on a pinhole camera model, assuming all scene elements are in focus in the input images, presents practical challenges and complicates refocusing during novel-view synthesis. Addressing these limitations, we present a lightweight method based on 3D Gaussian Splatting that utilizes multi-view LDR images of a scene with varying exposure times, apertures, and focus distances as input to reconstruct a high-dynamic-range (HDR) radiance field. By incorporating analytical convolutions of Gaussians based on a thin-lens camera model as well as a tonemapping module, our reconstructions enable the rendering of HDR content with flexible refocusing capabilities. We demonstrate that our combined treatment of HDR and depth of field facilitates real-time cinematic rendering, outperforming the state of the art.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google