OMG: Opacity Matters in Material Modeling with Gaussian Splatting

要約

一連の画像からジオメトリ、マテリアル、照明を分解すること、すなわちインバース・レンダリングは、コンピュータ・ビジョンとグラフィックスにおける長年の課題であった。最近のニューラルレンダリングの進歩により、フォトリアリスティックでもっともらしいインバースレンダリングの結果が得られるようになった。3Dガウススプラッティングの出現は、リアルタイムレンダリングの可能性を示すことで、これを次のレベルに押し上げた。直感的な発見は、逆レンダリングに使用されるモデルが、光学で示唆されるような、材料特性、すなわち断面積に対する不透明度の依存性を考慮していないことである。そこで我々は、この依存性をモデリング自体に追加する新しいアプローチを開発する。放射伝導にヒントを得て、断面積のモデリングと物理的に正しい活性化関数を提供する材料特性を入力とするニューラルネットワークを導入することにより、不透明度の項を補強する。したがって、材料特性の勾配は色だけでなく不透明度からも得られ、最適化のための制約が容易になる。従って、提案手法は、従来の作品と比較して、より正確な物理的特性を組み込んでいる。我々は、逆レンダリングにガウススプラッティングを使用する3つの異なるベースラインに本手法を実装し、斬新なビュー合成とマテリアルモデリングの観点から、普遍的に大幅な改善を達成した。

要約(オリジナル)

Decomposing geometry, materials and lighting from a set of images, namely inverse rendering, has been a long-standing problem in computer vision and graphics. Recent advances in neural rendering enable photo-realistic and plausible inverse rendering results. The emergence of 3D Gaussian Splatting has boosted it to the next level by showing real-time rendering potentials. An intuitive finding is that the models used for inverse rendering do not take into account the dependency of opacity w.r.t. material properties, namely cross section, as suggested by optics. Therefore, we develop a novel approach that adds this dependency to the modeling itself. Inspired by radiative transfer, we augment the opacity term by introducing a neural network that takes as input material properties to provide modeling of cross section and a physically correct activation function. The gradients for material properties are therefore not only from color but also from opacity, facilitating a constraint for their optimization. Therefore, the proposed method incorporates more accurate physical properties compared to previous works. We implement our method into 3 different baselines that use Gaussian Splatting for inverse rendering and achieve significant improvements universally in terms of novel view synthesis and material modeling.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL