SOGS: Second-Order Anchor for Advanced 3D Gaussian Splatting

要約

アンカーベースの3Dガウススプラッティング（3D-GS）は、3Dガウス予測でアンカー機能を悪用し、ガウス冗長性を低下させて印象的な3Dレンダリング品質を達成しました。
一方、アンカーの特徴、モデルサイズ、レンダリング品質のジレンマにしばしば遭遇します。大規模なアンカー機能は、大規模な3Dモデルと高品質のレンダリングにつながりますが、アンカー機能の低下はガウス属性の予測を分解し、レンダリングされたテクスチャーと幾何学の透明なアーティファクトを引き起こします。
2次アンカーを導入して、優れたレンダリング品質とアンカー機能とモデルサイズの削減を同時に実現するアンカーベースの3D-GSテクニックであるSOGSを設計します。
具体的には、SOGSには、各アンカー内の特徴を拡張するための特徴の寸法を介した共分散ベースの2次統計と相関関係を組み込み、機能サイズの削減を補償し、品質を効果的に改善します。
さらに、シーンのテクスチャとシーンの形状の最適化を強化するための選択的勾配損失を導入し、小さなアンカー機能を使用した高品質のレンダリングにつながります。
複数の広く採用されているベンチマークをめぐる広範な実験は、SOGがモデルサイズを明確に縮小した新しいビューシンシシスで優れたレンダリング品質を達成することを示しています。

要約(オリジナル)

Anchor-based 3D Gaussian splatting (3D-GS) exploits anchor features in 3D Gaussian prediction, which has achieved impressive 3D rendering quality with reduced Gaussian redundancy. On the other hand, it often encounters the dilemma among anchor features, model size, and rendering quality – large anchor features lead to large 3D models and high-quality rendering whereas reducing anchor features degrades Gaussian attribute prediction which leads to clear artifacts in the rendered textures and geometries. We design SOGS, an anchor-based 3D-GS technique that introduces second-order anchors to achieve superior rendering quality and reduced anchor features and model size simultaneously. Specifically, SOGS incorporates covariance-based second-order statistics and correlation across feature dimensions to augment features within each anchor, compensating for the reduced feature size and improving rendering quality effectively. In addition, it introduces a selective gradient loss to enhance the optimization of scene textures and scene geometries, leading to high-quality rendering with small anchor features. Extensive experiments over multiple widely adopted benchmarks show that SOGS achieves superior rendering quality in novel view synthesis with clearly reduced model size.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google