EigenGS Representation: From Eigenspace to Gaussian Image Space

要約

主成分分析（PCA）、古典的な次元削減技術、および2Dガウス表現は、画像表現のための3Dガウスのスプラッティングの適応であり、視覚データのモデリングに明確なアプローチを提供します。
Eigengsを提示します。これは、固有空間と画像空間ガウス表現を接続する効率的な変換パイプラインを通じてこれらのパラダイムを橋渡しする新しい方法です。
私たちのアプローチにより、画像ごとの最適化をゼロから最適化することなく、新しい画像のガウスパラメーターを即座に初期化することができ、収束を劇的に加速します。
Eigengsは、ガウス人がさまざまなスケールに適応することを奨励し、さまざまな空間周波数を効果的にモデリングし、高解像度の再構築におけるアーティファクトを防ぐことを奨励する周波数認識学習メカニズムを導入します。
広範な実験は、Eigengsが直接2Dガウスフィッティングと比較して優れた再構築品質を達成するだけでなく、必要なパラメーターのカウントとトレーニング時間を短縮することを示しています。
この結果は、さまざまな解像度と多様なカテゴリを備えた画像間のEigengsの有効性と一般化能力を強調し、ガウスベースの画像表現をリアルタイムアプリケーションで高品質で実行可能にします。

要約(オリジナル)

Principal Component Analysis (PCA), a classical dimensionality reduction technique, and 2D Gaussian representation, an adaptation of 3D Gaussian Splatting for image representation, offer distinct approaches to modeling visual data. We present EigenGS, a novel method that bridges these paradigms through an efficient transformation pipeline connecting eigenspace and image-space Gaussian representations. Our approach enables instant initialization of Gaussian parameters for new images without requiring per-image optimization from scratch, dramatically accelerating convergence. EigenGS introduces a frequency-aware learning mechanism that encourages Gaussians to adapt to different scales, effectively modeling varied spatial frequencies and preventing artifacts in high-resolution reconstruction. Extensive experiments demonstrate that EigenGS not only achieves superior reconstruction quality compared to direct 2D Gaussian fitting but also reduces necessary parameter count and training time. The results highlight EigenGS’s effectiveness and generalization ability across images with varying resolutions and diverse categories, making Gaussian-based image representation both high-quality and viable for real-time applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google