Mipmap-GS: Let Gaussians Deform with Scale-specific Mipmap for Anti-aliasing Rendering

要約

3D ガウス スプラッティング (3DGS) は、その優れたレンダリング効率と高い忠実度により、新しいビュー合成において大きな注目を集めています。
ただし、トレーニングされたガウスは、単一スケールのトレーニングから得られた調整不可能な表現により、深刻なズーム低下に悩まされます。
一部の方法では、プリミティブに対する選択的レンダリングやフィルタリング技術などの後処理技術を介してこの問題に取り組もうとしていますが、スケール固有の情報はガウス分布には関与しません。
この論文では、プリミティブなプロパティ (色、形状、サイズなど) と分布 (位置など) を自己調整することで、ガウス分布を任意のスケールに適応させるための統合最適化手法を提案します。
ミップマップ手法からインスピレーションを得て、ターゲット スケールの擬似グラウンド トゥルースを設計し、スケール情報を 3D ガウスに注入するためのスケール一貫性ガイダンス損失を提案します。
私たちの方法はプラグイン モジュールであり、ズームインおよびズームアウトのエイリアシングを解決するためにあらゆる 3DGS モデルに適用できます。
広範な実験により、私たちの方法の有効性が実証されています。
特に、私たちの方法は、NeRF Synthetic データセットのズームインで平均 9.25 dB、ズームアウトで 10.40 dB も PSNR で 3DGS よりも優れています。

要約(オリジナル)

3D Gaussian Splatting (3DGS) has attracted great attention in novel view synthesis because of its superior rendering efficiency and high fidelity. However, the trained Gaussians suffer from severe zooming degradation due to non-adjustable representation derived from single-scale training. Though some methods attempt to tackle this problem via post-processing techniques such as selective rendering or filtering techniques towards primitives, the scale-specific information is not involved in Gaussians. In this paper, we propose a unified optimization method to make Gaussians adaptive for arbitrary scales by self-adjusting the primitive properties (e.g., color, shape and size) and distribution (e.g., position). Inspired by the mipmap technique, we design pseudo ground-truth for the target scale and propose a scale-consistency guidance loss to inject scale information into 3D Gaussians. Our method is a plug-in module, applicable for any 3DGS models to solve the zoom-in and zoom-out aliasing. Extensive experiments demonstrate the effectiveness of our method. Notably, our method outperforms 3DGS in PSNR by an average of 9.25 dB for zoom-in and 10.40 dB for zoom-out on the NeRF Synthetic dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google