Flash Cache: Reducing Bias in Radiance Cache Based Inverse Rendering

要約

3D 再構成のための最先端の技術は主にボリューム シーン表現に基づいており、光線に沿って到達する色を計算するために複数の点をサンプリングする必要があります。
これらの表現をより一般的な逆レンダリング (観察された画像からジオメトリ、マテリアル、照明を再構築) に使用することは、このようなボリューム表現を再帰的にパストレースするのにコストがかかるため、困難です。
最近の研究では、放射キャッシュを使用することでこの問題を軽減しています。放射キャッシュとは、あらゆる方向から任意の点に到達する定常状態の無限バウンス放射輝度を格納するデータ構造です。
ただし、これらのソリューションは、レンダリング、さらに重要なことに、最適化に使用される勾配にバイアスを導入する近似に依存しています。
計算効率を維持しながらこれらの近似を回避する方法を提案します。
特に、レンダリング方程式の不偏推定量の分散を減らすために 2 つの手法を活用します。(1) 入ってくる照明のオクルージョンを意識した重要度サンプラーと、(2) からの放射輝度の制御変数として使用できる高速キャッシュ アーキテクチャです。
高品質ですが、より高価なボリュームキャッシュ。
これらのバイアスを取り除くことで、私たちのアプローチは、鏡面反射などの困難な光輸送効果が存在する場合の品質を向上させるだけでなく、放射キャッシュベースの逆レンダリングの汎用性を向上させることを示します。

要約(オリジナル)

State-of-the-art techniques for 3D reconstruction are largely based on volumetric scene representations, which require sampling multiple points to compute the color arriving along a ray. Using these representations for more general inverse rendering — reconstructing geometry, materials, and lighting from observed images — is challenging because recursively path-tracing such volumetric representations is expensive. Recent works alleviate this issue through the use of radiance caches: data structures that store the steady-state, infinite-bounce radiance arriving at any point from any direction. However, these solutions rely on approximations that introduce bias into the renderings and, more importantly, into the gradients used for optimization. We present a method that avoids these approximations while remaining computationally efficient. In particular, we leverage two techniques to reduce variance for unbiased estimators of the rendering equation: (1) an occlusion-aware importance sampler for incoming illumination and (2) a fast cache architecture that can be used as a control variate for the radiance from a high-quality, but more expensive, volumetric cache. We show that by removing these biases our approach improves the generality of radiance cache based inverse rendering, as well as increasing quality in the presence of challenging light transport effects such as specular reflections.

arxiv情報

著者 Benjamin Attal,Dor Verbin,Ben Mildenhall,Peter Hedman,Jonathan T. Barron,Matthew O’Toole,Pratul P. Srinivasan
発行日 2024-09-09 17:59:57+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CV, cs.GR パーマリンク