IRIS: Inverse Rendering of Indoor Scenes from Low Dynamic Range Images

要約

多くの 3D 再構成および新規ビュー合成手法により、民生用カメラで簡単に撮影されたマルチビュー画像からシーンをフォトリアリスティックにレンダリングできますが、その表現にイルミネーションをベイクしており、マテリアル編集、再ライティング、仮想オブジェクトなどの高度なアプリケーションをサポートするには至っていません。
挿入。
逆レンダリングによる物理ベースのマテリアル特性と照明の再構築により、そのようなアプリケーションが可能になることが期待されます。
ただし、ほとんどの逆レンダリング技術では入力としてハイ ダイナミック レンジ (HDR) 画像が必要ですが、ほとんどのユーザーはこの設定にアクセスできません。
物理ベースのマテリアル特性とシーンの空間的に変化する HDR 照明をマルチビューのロー ダイナミック レンジ (LDR) 画像から復元する方法を紹介します。
私たちは、逆レンダリング パイプラインで LDR 画像形成プロセスをモデル化し、マテリアル、照明、カメラ応答モデルの新しい最適化戦略を提案します。
LDR または HDR 入力を使用する最先端の逆レンダリング手法と比較して、合成シーンと実際のシーンを使用したアプローチを評価します。
私たちの方法は、LDR 画像を入力として使用する既存の方法よりも優れており、非常に現実的な再照明とオブジェクトの挿入を可能にします。

要約(オリジナル)

While numerous 3D reconstruction and novel-view synthesis methods allow for photorealistic rendering of a scene from multi-view images easily captured with consumer cameras, they bake illumination in their representations and fall short of supporting advanced applications like material editing, relighting, and virtual object insertion. The reconstruction of physically based material properties and lighting via inverse rendering promises to enable such applications. However, most inverse rendering techniques require high dynamic range (HDR) images as input, a setting that is inaccessible to most users. We present a method that recovers the physically based material properties and spatially-varying HDR lighting of a scene from multi-view, low-dynamic-range (LDR) images. We model the LDR image formation process in our inverse rendering pipeline and propose a novel optimization strategy for material, lighting, and a camera response model. We evaluate our approach with synthetic and real scenes compared to the state-of-the-art inverse rendering methods that take either LDR or HDR input. Our method outperforms existing methods taking LDR images as input, and allows for highly realistic relighting and object insertion.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google