Progressive Radiance Distillation for Inverse Rendering with Gaussian Splatting

要約

我々は、蒸留進行マップを使用して物理ベースのレンダリングとガウスベースの放射フィールド レンダリングを組み合わせた逆レンダリング手法であるプログレッシブ放射輝度蒸留を提案します。
マルチビュー画像を入力として受け取ると、私たちの方法は事前にトレーニングされた放射輝度フィールドのガイダンスから始まり、画像フィッティングプロセスを使用して放射フィールドから物理ベースの光と材料パラメータを抽出します。
蒸留進行マップは小さな値に初期化され、放射フィールドのレンダリングに有利になります。
フィッティングされた光とマテリアルのパラメータが収束から程遠い初期の反復中に、放射輝度フィールドのフォールバックにより画像損失勾配の健全性が確保され、アンダーフィット状態を引き起こす極小値が回​​避されます。
適合パラメータが収束すると、物理モデルが徐々に引き継ぎ、蒸留の進行もそれに応じて増加します。
物理モデルによってモデル化されていない光路が存在する場合、蒸留の進行は影響を受けるピクセルで終了せず、学習された放射輝度フィールドは最終レンダリングに残ります。
物理モデルの制限に対するこの設計された許容値により、モデル化されていない色成分が光とマテリアルのパラメーターに漏れるのを防ぎ、再ライティング アーティファクトを軽減します。
一方、残りの放射輝度フィールドは物理モデルの制限を補い、高品質の新しいビューの合成を保証します。
実験結果は、私たちの方法が新しいビューの合成と再ライティングの両方において品質の面で最先端の技術を大幅に上回ることを示しています。
漸進的放射蒸留のアイデアは、ガウス スプラッティングに限定されません。
メッシュベースの逆レンダリング手法に適応させた場合、顕著な鏡面反射シーンにもプラスの効果があることを示します。

要約(オリジナル)

We propose progressive radiance distillation, an inverse rendering method that combines physically-based rendering with Gaussian-based radiance field rendering using a distillation progress map. Taking multi-view images as input, our method starts from a pre-trained radiance field guidance, and distills physically-based light and material parameters from the radiance field using an image-fitting process. The distillation progress map is initialized to a small value, which favors radiance field rendering. During early iterations when fitted light and material parameters are far from convergence, the radiance field fallback ensures the sanity of image loss gradients and avoids local minima that attracts under-fit states. As fitted parameters converge, the physical model gradually takes over and the distillation progress increases correspondingly. In presence of light paths unmodeled by the physical model, the distillation progress never finishes on affected pixels and the learned radiance field stays in the final rendering. With this designed tolerance for physical model limitations, we prevent unmodeled color components from leaking into light and material parameters, alleviating relighting artifacts. Meanwhile, the remaining radiance field compensates for the limitations of the physical model, guaranteeing high-quality novel views synthesis. Experimental results demonstrate that our method significantly outperforms state-of-the-art techniques quality-wise in both novel view synthesis and relighting. The idea of progressive radiance distillation is not limited to Gaussian splatting. We show that it also has positive effects for prominently specular scenes when adapted to a mesh-based inverse rendering method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google