Gaussian Graph Network: Learning Efficient and Generalizable Gaussian Representations from Multi-view Images

要約

3Dガウススプラッティング（3DGS）は、印象的な新規ビューの合成パフォーマンスを実証しています。
従来の方法では、シーンごとの最適化が必要ですが、最近では、異なるシーンに一般化できる学習可能なネットワークでピクセルアラインドガウス表現を生成するために、いくつかのフィードフォワード方法が提案されています。
ただし、これらの方法は、シーンの表現として複数のビューからピクセルに合わせたガウス人を単に組み合わせるだけで、さまざまな画像からガウスの関係を完全に捉えることなく、アーティファクトと余分なメモリコストにつながります。
この論文では、Gaussianグラフネットワーク（GGN）を提案して、効率的で一般化可能なガウス表現を生成します。
具体的には、ガウスグラフを構築して、さまざまな見解からガウスグループの関係をモデル化します。
ガウスレベルでのメッセージの通過をサポートするために、ガウス表現に対する基本的なグラフ操作を再定式化し、各ガウスが接続されたガウス群からガウス特徴の融合を伴う利益を得ることができます。
さらに、効率的な表現のためにさまざまなガウスグループを集約するために、ガウスプーリング層を設計します。
大規模なRealestate10Kおよび酸データセットで実験を実施して、方法の効率と一般化を実証します。
最先端の方法と比較して、モデルはガウス系を使用していないため、より高いレンダリング速度でより良い画質を達成します。

要約(オリジナル)

3D Gaussian Splatting (3DGS) has demonstrated impressive novel view synthesis performance. While conventional methods require per-scene optimization, more recently several feed-forward methods have been proposed to generate pixel-aligned Gaussian representations with a learnable network, which are generalizable to different scenes. However, these methods simply combine pixel-aligned Gaussians from multiple views as scene representations, thereby leading to artifacts and extra memory cost without fully capturing the relations of Gaussians from different images. In this paper, we propose Gaussian Graph Network (GGN) to generate efficient and generalizable Gaussian representations. Specifically, we construct Gaussian Graphs to model the relations of Gaussian groups from different views. To support message passing at Gaussian level, we reformulate the basic graph operations over Gaussian representations, enabling each Gaussian to benefit from its connected Gaussian groups with Gaussian feature fusion. Furthermore, we design a Gaussian pooling layer to aggregate various Gaussian groups for efficient representations. We conduct experiments on the large-scale RealEstate10K and ACID datasets to demonstrate the efficiency and generalization of our method. Compared to the state-of-the-art methods, our model uses fewer Gaussians and achieves better image quality with higher rendering speed.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google