Efficient Perspective-Correct 3D Gaussian Splatting Using Hybrid Transparency

要約

3D ガウス スプラット (3DGS) は、逆レンダリングとシーンのリアルタイム探索の両方において、多用途のレンダリング プリミティブであることが証明されています。
これらのアプリケーションでは、シーン再構成の堅牢な収束やアーティファクトのないフライスルーのいずれであっても、カメラ フレームと複数のビューにわたる一貫性が非常に重要です。
最近の取り組みでは、一貫性のない透明度の並べ替えや (2D) スプラットの遠近法が正しい輪郭によるポップ アーティファクトなど、マルチビューの一貫性を損なうアーティファクトの軽減を開始しました。
同時に、リアルタイム要件により、このような実装は 3D ガウスの大きなアセンブリの透明性を解決する方法について妥協を受け入れることを余儀なくされ、その結果、他の方法で一貫性が損なわれてしまいました。
私たちの作業では、リアルタイムのフレーム レートを維持するために、ピクセルごとのレベルで正確なブレンディングとハイブリッド透明度の高品質な近似を使用しながら、完全に遠近法が正しい 3D ガウスをレンダリングすることで、コヒーレンスを最大化することを目指しています。
3D ガウスを評価するための高速かつ透視的に正確なアプローチは、行列の反転を必要としないため、数値的安定性が確保され、縮退スプラットの特別な処理の必要性がなくなり、ブレンド用のハイブリッド透明度の定式化により、完全に解像度されたピクセルごとの透明度と同様の品質が維持されます。
レンダリングコストの一部。
さらに、これら 2 つのコンポーネントのそれぞれを独立してガウス スプラッティング システムに統合できることを示します。
これらを組み合わせることで、一般的なベンチマークで従来の 3DGS と比較して、最大 2$\倍$ 高いフレーム レート、2$\倍$ 高速な最適化、およびレンダリング アーティファクトの少ない同等以上の画質を実現します。

要約(オリジナル)

3D Gaussian Splats (3DGS) have proven a versatile rendering primitive, both for inverse rendering as well as real-time exploration of scenes. In these applications, coherence across camera frames and multiple views is crucial, be it for robust convergence of a scene reconstruction or for artifact-free fly-throughs. Recent work started mitigating artifacts that break multi-view coherence, including popping artifacts due to inconsistent transparency sorting and perspective-correct outlines of (2D) splats. At the same time, real-time requirements forced such implementations to accept compromises in how transparency of large assemblies of 3D Gaussians is resolved, in turn breaking coherence in other ways. In our work, we aim at achieving maximum coherence, by rendering fully perspective-correct 3D Gaussians while using a high-quality approximation of accurate blending, hybrid transparency, on a per-pixel level, in order to retain real-time frame rates. Our fast and perspectively accurate approach for evaluation of 3D Gaussians does not require matrix inversions, thereby ensuring numerical stability and eliminating the need for special handling of degenerate splats, and the hybrid transparency formulation for blending maintains similar quality as fully resolved per-pixel transparencies at a fraction of the rendering costs. We further show that each of these two components can be independently integrated into Gaussian splatting systems. In combination, they achieve up to 2$\times$ higher frame rates, 2$\times$ faster optimization, and equal or better image quality with fewer rendering artifacts compared to traditional 3DGS on common benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google