Implicit Gaussian Splatting with Efficient Multi-Level Tri-Plane Representation

要約

フォトリアリスティックな新規ビュー合成の最近の進歩は、ガウス スプラッティング (3DGS) によって大きく推進されてきました。
それにもかかわらず、3DGS データの明示的な性質にはかなりのストレージ要件が伴い、より効率的なデータ表現の差し迫った必要性が浮き彫りになっています。
これに対処するために、マルチレベル トライプレーン アーキテクチャを通じて明示的な点群と暗黙的な特徴埋め込みを統合する革新的なハイブリッド モデルである Implicit Gaussian Splatting (IGS) を紹介します。
このアーキテクチャは、さまざまなレベルにわたるさまざまな解像度の 2D フィーチャ グリッドを特徴としており、連続的な空間ドメイン表現を容易にし、ガウス プリミティブ間の空間相関を強化します。
この基盤に基づいて、明示的な空間正則化を組み込んだレベルベースの漸進的トレーニング スキームを導入します。
この方法は、空間相関を利用して、レンダリング品質と IGS 表現のコンパクトさの両方を向上させます。
さらに、さまざまなレベルにわたるエントロピーの変動を考慮して、点群と 2D 特徴グリッドの両方に合わせて調整された新しい圧縮パイプラインを提案します。
広範な実験評価により、当社のアルゴリズムがわずか数 MB を使用して高品質のレンダリングを実現し、ストレージ効率とレンダリングの忠実度のバランスを効果的に保ち、最先端のアルゴリズムに匹敵する結果が得られることが実証されました。

要約(オリジナル)

Recent advancements in photo-realistic novel view synthesis have been significantly driven by Gaussian Splatting (3DGS). Nevertheless, the explicit nature of 3DGS data entails considerable storage requirements, highlighting a pressing need for more efficient data representations. To address this, we present Implicit Gaussian Splatting (IGS), an innovative hybrid model that integrates explicit point clouds with implicit feature embeddings through a multi-level tri-plane architecture. This architecture features 2D feature grids at various resolutions across different levels, facilitating continuous spatial domain representation and enhancing spatial correlations among Gaussian primitives. Building upon this foundation, we introduce a level-based progressive training scheme, which incorporates explicit spatial regularization. This method capitalizes on spatial correlations to enhance both the rendering quality and the compactness of the IGS representation. Furthermore, we propose a novel compression pipeline tailored for both point clouds and 2D feature grids, considering the entropy variations across different levels. Extensive experimental evaluations demonstrate that our algorithm can deliver high-quality rendering using only a few MBs, effectively balancing storage efficiency and rendering fidelity, and yielding results that are competitive with the state-of-the-art.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google