MixLight: Borrowing the Best of both Spherical Harmonics and Gaussian Models

要約

シーンの照明を正確に推定することは、複合現実などのアプリケーションにとって重要です。
既存の研究では、照明マップを生成するか照明パラメータを回帰することによって照明を推定しています。
ただし、照明マップを生成する方法は汎化性能が低く、球面調和関数 (SH) や球面ガウス (SG) などのパラメトリック モデルは高周波成分や低周波成分の捕捉が不十分です。
この論文では、SH と SG の相補的な特性を利用してより完全な照明表現を実現するジョイント モデルである MixLight について説明します。これは、SH と SG を使用してそれぞれ低周波周囲光源と高周波光源をキャプチャします。
さらに、球状光源間の位置と明るさの関係を参照する特別な球状光源 sparsemax (SLSparsemax) モジュールは、重要ではあるものの従来の研究では省略されていたスパース性を改善するように設計されています。
広範な実験により、MixLight が複数の指標において最先端 (SOTA) 手法を上回ることが実証されました。
さらに、Web データセットの実験では、パラメトリック手法としての MixLight が非パラメトリック手法よりも汎化パフォーマンスが優れていることも示しています。

要約(オリジナル)

Accurately estimating scene lighting is critical for applications such as mixed reality. Existing works estimate illumination by generating illumination maps or regressing illumination parameters. However, the method of generating illumination maps has poor generalization performance and parametric models such as Spherical Harmonic (SH) and Spherical Gaussian (SG) fall short in capturing high-frequency or low-frequency components. This paper presents MixLight, a joint model that utilizes the complementary characteristics of SH and SG to achieve a more complete illumination representation, which uses SH and SG to capture low-frequency ambient and high-frequency light sources respectively. In addition, a special spherical light source sparsemax (SLSparsemax) module that refers to the position and brightness relationship between spherical light sources is designed to improve their sparsity, which is significant but omitted by prior works. Extensive experiments demonstrate that MixLight surpasses state-of-the-art (SOTA) methods on multiple metrics. In addition, experiments on Web Dataset also show that MixLight as a parametric method has better generalization performance than non-parametric methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google