3iGS: Factorised Tensorial Illumination for 3D Gaussian Splatting

要約

放射輝度フィールドの表現として 3D ガウスを使用することにより、リアルタイムのレンダリング速度で高品質の新しいビューの合成が可能になりました。
ただし、各ガウスの出射放射輝度を球面調和関数として個別に最適化するという選択は、満足のいくビュー依存効果をもたらしません。
これらの制限に対応して、私たちの取り組みである Factorized Tensorial Illumination for 3D Gaussian Splatting (3iGS) は、3D ガウス スプラッティング (3DGS) のレンダリング品質を向上させています。
3iGS は、単一の出射輝度パラメータを最適化する代わりに、出射輝度を局所照明フィールドおよび双方向反射率分布関数 (BRDF) 機能の関数として表現することにより、3DGS ビュー依存効果を強化します。
テンソル因数分解表現を通じて連続入射照明フィールドを最適化し、同時にこの照明フィールドに対して各 3D ガウスの BRDF 特徴を個別に微調整します。
私たちの方法論は、迅速なトレーニングとレンダリング速度を維持しながら、3DGS の鏡面ビュー依存効果のレンダリング品質を大幅に向上させます。

要約(オリジナル)

The use of 3D Gaussians as representation of radiance fields has enabled high quality novel view synthesis at real-time rendering speed. However, the choice of optimising the outgoing radiance of each Gaussian independently as spherical harmonics results in unsatisfactory view dependent effects. In response to these limitations, our work, Factorised Tensorial Illumination for 3D Gaussian Splatting, or 3iGS, improves upon 3D Gaussian Splatting (3DGS) rendering quality. Instead of optimising a single outgoing radiance parameter, 3iGS enhances 3DGS view-dependent effects by expressing the outgoing radiance as a function of a local illumination field and Bidirectional Reflectance Distribution Function (BRDF) features. We optimise a continuous incident illumination field through a Tensorial Factorisation representation, while separately fine-tuning the BRDF features of each 3D Gaussian relative to this illumination field. Our methodology significantly enhances the rendering quality of specular view-dependent effects of 3DGS, while maintaining rapid training and rendering speeds.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google