PEP-GS: Perceptually-Enhanced Precise Structured 3D Gaussians for View-Adaptive Rendering

要約

最近、3D Gaussian Splatting（3D-GS）は、リアルタイムで高品質の3Dシーンレンダリングで大きな成功を収めました。
ただし、ガウスの冗長性、視界に依存する効果をキャプチャする限られた能力、複雑な照明や鏡面反射の処理の難しさなど、いくつかの課題に直面しています。
さらに、色表現に球状の高調波を使用する方法は、特に複雑な照明条件下でビュー依存の色をモデリングする場合、鏡面照明条件でビュー依存の色をモデリングする場合、鏡面のハイライトと異方性成分を効果的にキャプチャするのに苦労することが多く、コントラストが不十分で不自然な色の飽和が生じます。
これらの制限に対処するために、PEP-GSを導入します。これは、不透明度、色、共分散などのガウス属性を動的に予測する知覚的に強化されたフレームワークです。
従来の球状高調波を、複雑なビュー依存の色効果と鏡面ハイライトのより正確なモデリングを可能にする階層的な粒状の注意メカニズムに置き換えます。
PEP-GSは、不透明度と共分散推定のために安定した解釈可能なフレームワークを採用することにより、必須のガウスの除去を早めに回避し、より正確なシーン表現を確保します。
さらに、知覚最適化が最終レンダリングされた画像に適用され、異なるビュー全体で知覚的な一貫性を高め、テクスチャの忠実度と細かい詳細保存が改善された高品質のレンダリングを確保します。
実験結果は、PEP-GSが、特にビュー依存の効果、鏡面反射、細かいスケールの詳細を含む挑戦的なシナリオで、最先端の方法を上回ることを示しています。

要約(オリジナル)

Recently, 3D Gaussian Splatting (3D-GS) has achieved significant success in real-time, high-quality 3D scene rendering. However, it faces several challenges, including Gaussian redundancy, limited ability to capture view-dependent effects, and difficulties in handling complex lighting and specular reflections. Additionally, methods that use spherical harmonics for color representation often struggle to effectively capture specular highlights and anisotropic components, especially when modeling view-dependent colors under complex lighting conditions, leading to insufficient contrast and unnatural color saturation. To address these limitations, we introduce PEP-GS, a perceptually-enhanced framework that dynamically predicts Gaussian attributes, including opacity, color, and covariance. We replace traditional spherical harmonics with a Hierarchical Granular-Structural Attention mechanism, which enables more accurate modeling of complex view-dependent color effects and specular highlights. By employing a stable and interpretable framework for opacity and covariance estimation, PEP-GS avoids the removal of essential Gaussians prematurely, ensuring a more accurate scene representation. Furthermore, perceptual optimization is applied to the final rendered images, enhancing perceptual consistency across different views and ensuring high-quality renderings with improved texture fidelity and fine-scale detail preservation. Experimental results demonstrate that PEP-GS outperforms state-of-the-art methods, particularly in challenging scenarios involving view-dependent effects, specular reflections, and fine-scale details.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google