PEP-GS: Perceptually-Enhanced Precise Structured 3D Gaussians for View-Adaptive Rendering

要約

特に Scaffold-GS のような方法による、ビュー適応レンダリングのための構造化 3D ガウスの最近の進歩により、ニューラル シーン表現において有望な結果が実証されました。
ただし、既存のアプローチは、知覚の一貫性と正確なビュー依存効果の点で依然として課題に直面しています。
我々は、次の 3 つの主要な革新によって構造化 3D ガウスを強化する新しいフレームワークである PEP-GS を紹介します。(1) より正確なビュー依存のカラー デコーディングのために球面調和関数を置き換えるローカル拡張マルチヘッド セルフ アテンション (LEMSA) メカニズム。
(2) 解釈可能性とスプラッティング精度を向上させるためにガウス不透明度と共分散関数を最適化するコルモゴロフ・アーノルドネットワーク (KAN)。
(3) ビュー間の知覚の類似性を向上させるニューラル ラプラシアン ピラミッド分解 (NLPD)。
複数のデータセットにわたる包括的な評価では、現在の最先端の手法と比較して、これらの改善は、ビュー依存効果、鏡面反射、微細スケールの詳細、偽ジオメトリの生成などの困難なシナリオで特に顕著であることが示されています。

要約(オリジナル)

Recent advances in structured 3D Gaussians for view-adaptive rendering, particularly through methods like Scaffold-GS, have demonstrated promising results in neural scene representation. However, existing approaches still face challenges in perceptual consistency and precise view-dependent effects. We present PEP-GS, a novel framework that enhances structured 3D Gaussians through three key innovations: (1) a Local-Enhanced Multi-head Self-Attention (LEMSA) mechanism that replaces spherical harmonics for more accurate view-dependent color decoding, and (2) Kolmogorov-Arnold Networks (KAN) that optimize Gaussian opacity and covariance functions for enhanced interpretability and splatting precision. (3) a Neural Laplacian Pyramid Decomposition (NLPD) that improves perceptual similarity across views. Our comprehensive evaluation across multiple datasets indicates that, compared to the current state-of-the-art methods, these improvements are particularly evident in challenging scenarios such as view-dependent effects, specular reflections, fine-scale details and false geometry generation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google