SA-GS: Scale-Adaptive Gaussian Splatting for Training-Free Anti-Aliasing

要約

この論文では、アンチエイリアシング ガウス スプラッティング (SA-GS) のスケール適応手法を紹介します。
最先端の手法である Mip-Splatting ではガウス スプラッティングのトレーニング手順を変更する必要がありますが、私たちの手法はテスト時に機能し、トレーニングは必要ありません。
具体的には、SA-GS をプラグインとして事前学習済みのガウス スプラッティング フィールドに適用して、フィールドのアンチエイリアシング パフォーマンスを大幅に向上させることができます。
中核となる手法は、テスト中に 2D スケール適応フィルターを各ガウス分布に適用することです。
Mip-Splatting によって指摘されているように、さまざまな周波数でガウスを観察すると、トレーニングとテスト中にガウス スケール間の不一致が生じます。
Mip-Splatting は、3D スムージングと 2D Mip フィルターを使用してこの問題を解決しますが、残念ながらこれらはテスト頻度を認識しません。
この研究では、テスト周波数を通知された 2D スケール適応フィルターが効果的にガウス スケールに一致するため、ガウス プリミティブ分布が異なるテスト周波数にわたって一貫したままになることを示します。
スケールの不一致が解消されると、シーン周波数より小さいサンプリング レートでは従来のギザギザが発生するため、テスト中に各ピクセル内で投影された 2D ガウスを統合することを提案します。
この統合は実際にはスーパー サンプリングの限定的なケースであり、通常のガウス スプラッティングに比べてアンチエイリアシングのパフォーマンスが大幅に向上します。
さまざまな設定と境界のあるシーンと境界のないシーンの両方を使用した広範な実験を通じて、SA-GS が Mip-Splatting と同等かそれ以上にパフォーマンスを発揮することを示しました。
スーパー サンプリングと統合は、スケール適応フィルタリングがアクティブ化されている場合にのみ有効であることに注意してください。
コード、データ、モデルは https://github.com/zsy1987/SA-GS で入手できます。

要約(オリジナル)

In this paper, we present a Scale-adaptive method for Anti-aliasing Gaussian Splatting (SA-GS). While the state-of-the-art method Mip-Splatting needs modifying the training procedure of Gaussian splatting, our method functions at test-time and is training-free. Specifically, SA-GS can be applied to any pretrained Gaussian splatting field as a plugin to significantly improve the field’s anti-alising performance. The core technique is to apply 2D scale-adaptive filters to each Gaussian during test time. As pointed out by Mip-Splatting, observing Gaussians at different frequencies leads to mismatches between the Gaussian scales during training and testing. Mip-Splatting resolves this issue using 3D smoothing and 2D Mip filters, which are unfortunately not aware of testing frequency. In this work, we show that a 2D scale-adaptive filter that is informed of testing frequency can effectively match the Gaussian scale, thus making the Gaussian primitive distribution remain consistent across different testing frequencies. When scale inconsistency is eliminated, sampling rates smaller than the scene frequency result in conventional jaggedness, and we propose to integrate the projected 2D Gaussian within each pixel during testing. This integration is actually a limiting case of super-sampling, which significantly improves anti-aliasing performance over vanilla Gaussian Splatting. Through extensive experiments using various settings and both bounded and unbounded scenes, we show SA-GS performs comparably with or better than Mip-Splatting. Note that super-sampling and integration are only effective when our scale-adaptive filtering is activated. Our codes, data and models are available at https://github.com/zsy1987/SA-GS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google