Sort-free Gaussian Splatting via Weighted Sum Rendering

要約

最近、3D ガウス スプラッティング (3DGS) が 3D シーンの再構築における大幅な進歩として浮上し、複雑さを抑えながら高忠実度の詳細を復元できる機能により大きな注目を集めています。
3DGS によって達成される有望な結果にもかかわらず、そのレンダリング パフォーマンスは、コストのかかる非可換アルファ ブレンディング操作への依存によって制限されます。
これらの操作では、ビューに依存する複雑な並べ替え操作が必要となり、特に携帯電話などのリソースに制約のあるプラットフォームでは、計算オーバーヘッドが発生します。
この論文では、アルファ ブレンディングを加重和で近似することでソートの必要性を排除する加重和レンダリングを提案します。
これにより、実装が簡素化され、優れたパフォーマンスが実現され、並べ替えによって発生する「ポップ」アーティファクトが排除されます。
実験結果は、一般化ガウス スプラッティング定式化を新しい微分可能なレンダリングに最適化すると、競争力のある画質が得られることを示しています。
このメソッドはモバイル デバイスの GPU で実装およびテストされ、平均で $1.23\times$ 高速なレンダリングを達成しました。

要約(オリジナル)

Recently, 3D Gaussian Splatting (3DGS) has emerged as a significant advancement in 3D scene reconstruction, attracting considerable attention due to its ability to recover high-fidelity details while maintaining low complexity. Despite the promising results achieved by 3DGS, its rendering performance is constrained by its dependence on costly non-commutative alpha-blending operations. These operations mandate complex view dependent sorting operations that introduce computational overhead, especially on the resource-constrained platforms such as mobile phones. In this paper, we propose Weighted Sum Rendering, which approximates alpha blending with weighted sums, thereby removing the need for sorting. This simplifies implementation, delivers superior performance, and eliminates the ‘popping’ artifacts caused by sorting. Experimental results show that optimizing a generalized Gaussian splatting formulation to the new differentiable rendering yields competitive image quality. The method was implemented and tested in a mobile device GPU, achieving on average $1.23\times$ faster rendering.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google