Efficient Perspective-Correct 3D Gaussian Splatting Using Hybrid Transparency

要約

3Dガウススプラット（3DG）は、逆レンダリングとシーンのリアルタイムの調査の両方のために、多用途のレンダリングプリミティブであることが証明されています。
これらのアプリケーションでは、シーンの再構築の堅牢な収束やアーティファクトフリーのフライスルーのためであろうと、カメラフレームと複数のビュー全体のコヒーレンスが重要です。
最近の研究は、一貫性のない透明性のソートと（2d）スプラットの視点が正しいアウトラインによるアーティファクトをポップするなど、マルチビューのコヒーレンスを破るアーティファクトの緩和を開始しました。
同時に、リアルタイムの要件により、そのような実装は、3Dガウスの大規模なアセンブリの透明性がどのように解決され、他の方法で一貫性を破るかについての妥協を受け入れることを余儀なくされました。
私たちの仕事では、リアルタイムのフレームレートを保持するために、ピクセルあたりレベルで正確なブレンド、ハイブリッド透明性の高品質の近似を使用しながら、完全にパースペクティブで修正された3Dガウス派をレンダリングすることにより、最大のコヒーレンスを達成することを目指しています。
3Dガウスの評価のための高速かつ視野の正確なアプローチは、マトリックスの反転を必要とせず、それによって数値の安定性を確保し、退化したスプラットの特別な取り扱いの必要性を排除し、ブレンディングのためのハイブリッド透明性の定式化は、レンズーリングコストの範囲で完全に解決されたピクセルごとの透明度と同様の品質を維持します。
さらに、これら2つのコンポーネントのそれぞれが、ガウススプラッティングシステムに独立して統合できることを示しています。
組み合わせて、彼らは最大2 $ \ Times $のフレームレート、2 $ \ Times $の最適化、および一般的なベンチマーク上の従来の3DGと比較してレンダリングアーティファクトを少なくする等しいまたはより良い画質を達成します。

要約(オリジナル)

3D Gaussian Splats (3DGS) have proven a versatile rendering primitive, both for inverse rendering as well as real-time exploration of scenes. In these applications, coherence across camera frames and multiple views is crucial, be it for robust convergence of a scene reconstruction or for artifact-free fly-throughs. Recent work started mitigating artifacts that break multi-view coherence, including popping artifacts due to inconsistent transparency sorting and perspective-correct outlines of (2D) splats. At the same time, real-time requirements forced such implementations to accept compromises in how transparency of large assemblies of 3D Gaussians is resolved, in turn breaking coherence in other ways. In our work, we aim at achieving maximum coherence, by rendering fully perspective-correct 3D Gaussians while using a high-quality approximation of accurate blending, hybrid transparency, on a per-pixel level, in order to retain real-time frame rates. Our fast and perspectively accurate approach for evaluation of 3D Gaussians does not require matrix inversions, thereby ensuring numerical stability and eliminating the need for special handling of degenerate splats, and the hybrid transparency formulation for blending maintains similar quality as fully resolved per-pixel transparencies at a fraction of the rendering costs. We further show that each of these two components can be independently integrated into Gaussian splatting systems. In combination, they achieve up to 2$\times$ higher frame rates, 2$\times$ faster optimization, and equal or better image quality with fewer rendering artifacts compared to traditional 3DGS on common benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google