GaNI: Global and Near Field Illumination Aware Neural Inverse Rendering

要約

この論文では、同じ場所に配置された光とカメラでキャプチャされたシーンの画像からジオメトリ、アルベド、および粗さパラメータを再構築できる、グローバルおよび近接場照明対応のニューラル インバース レンダリング技術である GaNI を紹介します。
同じ場所に配置されたライト カメラを使用した既存の逆レンダリング手法は、単一のオブジェクトのみに焦点を当てており、複数のオブジェクトが存在するシーンでより顕著なグローバル イルミネーションやニアフィールド ライティングをモデル化することはありません。
この問題を 2 段階で解決するシステムを紹介します。
まずニューラル ボリューム レンダリング NeuS を利用してジオメトリを再構築し、次に、以前に予測されたジオメトリを使用してアルベドと粗さを推定する逆ニューラル ラジオシティが続きます。
ただし、このような単純な組み合わせは失敗するため、この 2 段階のアプローチを可能にする複数の技術的貢献を提案します。
NeuS がシーン内の近接場照明と懐中電灯からの強い鏡面反射を処理できないことがわかりました。
近接場照明の効果を暗黙的にモデル化し、鏡面反射を処理する表面角度損失関数を導入することを提案します。
同様に、invNeRad はキャプチャ全体を通じて一定の照明を想定しており、キャプチャ中に移動する懐中電灯を処理できないことがわかります。
我々は、光の位置を認識した放射輝度キャッシュ ネットワークと、反射率を再構築するための粗さに対する追加の平滑性事前処理を提案します。
合成データと実データの実験的評価では、私たちの方法が既存の同じ場所に設置された光カメラベースの逆レンダリング技術よりも優れていることが示されています。
私たちのアプローチは、暗室を必要としないキャプチャ戦略よりも大幅に優れた反射率とわずかに優れたジオメトリを生成します。

要約(オリジナル)

In this paper, we present GaNI, a Global and Near-field Illumination-aware neural inverse rendering technique that can reconstruct geometry, albedo, and roughness parameters from images of a scene captured with co-located light and camera. Existing inverse rendering techniques with co-located light-camera focus on single objects only, without modeling global illumination and near-field lighting more prominent in scenes with multiple objects. We introduce a system that solves this problem in two stages; we first reconstruct the geometry powered by neural volumetric rendering NeuS, followed by inverse neural radiosity that uses the previously predicted geometry to estimate albedo and roughness. However, such a naive combination fails and we propose multiple technical contributions that enable this two-stage approach. We observe that NeuS fails to handle near-field illumination and strong specular reflections from the flashlight in a scene. We propose to implicitly model the effects of near-field illumination and introduce a surface angle loss function to handle specular reflections. Similarly, we observe that invNeRad assumes constant illumination throughout the capture and cannot handle moving flashlights during capture. We propose a light position-aware radiance cache network and additional smoothness priors on roughness to reconstruct reflectance. Experimental evaluation on synthetic and real data shows that our method outperforms the existing co-located light-camera-based inverse rendering techniques. Our approach produces significantly better reflectance and slightly better geometry than capture strategies that do not require a dark room.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google