Rotation-Equivariant Conditional Spherical Neural Fields for Learning a Natural Illumination Prior

要約

インバースレンダリングは非論理的な問題である。これまでの研究では、物体やシーンの形状や外観の事前分布に注目することで、この問題を解決しようとしてきた。本論文では、その代わりに、自然な照明の事前分布に注目する。現在の手法は、球面調和照明や他の一般的な表現に依存しており、せいぜいパラメータに関する単純化された事前分布を用いるだけである。我々は、SIRENネットワークを用いた変分オートデコーダーに基づく条件付き神経場表現を提案し、Vector Neuronsを拡張して、ネットワークに直接等変量を構築する。これを用いて、コンパクトで自然環境マップの複雑な高周波の特徴を表現できる、回転等変量、ハイダイナミックレンジ（HDR）ニューラルイルミネーションモデルを開発する。このモデルは、1.6K HDR環境マップのデータセットで学習させ、従来の表現と比較し、逆レンダリングタスクへの適用性を示し、部分観測から環境マップを補完することを示す。PyTorchの実装、データセット、学習済みモデルはjadgardner.github.io/RENIで見ることができます。

要約(オリジナル)

Inverse rendering is an ill-posed problem. Previous work has sought to resolve this by focussing on priors for object or scene shape or appearance. In this work, we instead focus on a prior for natural illuminations. Current methods rely on spherical harmonic lighting or other generic representations and, at best, a simplistic prior on the parameters. We propose a conditional neural field representation based on a variational auto-decoder with a SIREN network and, extending Vector Neurons, build equivariance directly into the network. Using this we develop a rotation-equivariant, high dynamic range (HDR) neural illumination model that is compact and able to express complex, high-frequency features of natural environment maps. Training our model on a curated dataset of 1.6K HDR environment maps of natural scenes, we compare it against traditional representations, demonstrate its applicability for an inverse rendering task and show environment map completion from partial observations. A PyTorch implementation, our dataset and trained models can be found at jadgardner.github.io/RENI.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL