6DGS: Enhanced Direction-Aware Gaussian Splatting for Volumetric Rendering

要約

新しいビューの合成は、ニューラル放射フィールド (NeRF) と 3D ガウス スプラッティング (3DGS) の開発により大幅に進歩しました。
ただし、リアルタイム レンダリングを損なうことなく高品質を達成することは、特にビュー依存の効果を伴う物理ベースのレイ トレーシングの場合、依然として困難です。
最近、N 次元ガウス (N-DG) では、ビュー依存の効果をより適切に組み込むために 6D 空間角度表現が導入されましたが、ガウス表現と制御スキームは最適とは言えません。
このペーパーでは、6D ガウスを再考し、色と不透明度の表現を強化し、最適化されたガウス制御のために 6D 空間内の追加の方向情報を活用する 6D ガウス スプラッティング (6DGS) を紹介します。
私たちのアプローチは 3DGS フレームワークと完全に互換性があり、ビュー依存の効果と詳細をより適切にモデリングすることにより、リアルタイムの放射輝度フィールド レンダリングを大幅に向上させます。
実験では、6DGS が 3DGS および N-DG よりも大幅に優れており、3DGS と比較してガウス ポイントが 66.5% 減少し、PSNR が最大 15.73 dB 向上することが実証されています。
プロジェクトページは: https://gaozhongpai.github.io/6dgs/

要約(オリジナル)

Novel view synthesis has advanced significantly with the development of neural radiance fields (NeRF) and 3D Gaussian splatting (3DGS). However, achieving high quality without compromising real-time rendering remains challenging, particularly for physically-based ray tracing with view-dependent effects. Recently, N-dimensional Gaussians (N-DG) introduced a 6D spatial-angular representation to better incorporate view-dependent effects, but the Gaussian representation and control scheme are sub-optimal. In this paper, we revisit 6D Gaussians and introduce 6D Gaussian Splatting (6DGS), which enhances color and opacity representations and leverages the additional directional information in the 6D space for optimized Gaussian control. Our approach is fully compatible with the 3DGS framework and significantly improves real-time radiance field rendering by better modeling view-dependent effects and fine details. Experiments demonstrate that 6DGS significantly outperforms 3DGS and N-DG, achieving up to a 15.73 dB improvement in PSNR with a reduction of 66.5% Gaussian points compared to 3DGS. The project page is: https://gaozhongpai.github.io/6dgs/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google