GaussianVAE: Adaptive Learning Dynamics of 3D Gaussians for High-Fidelity Super-Resolution

要約

ネイティブトレーニングの解決を超えて、3Dガウススプラッティング（3DG）の解像度と幾何学的忠実度を高めるための新しいアプローチを提示します。
現在の3DGSメソッドは、入力解像度によって根本的に制限されており、トレーニングビューに存在するよりも細かい詳細を外挿することができない再構成を生成します。
私たちの仕事は、必要に応じて追加の3Dガウス人を予測および改良する軽量生成モデルを通してこの制限を破ります。
主要な革新は、ヘシアン支援サンプリング戦略であり、濃度化の恩恵を受ける可能性のある地域をインテリジェントに識別し、計算効率を確保します。
計算集中的なGANや拡散アプローチとは異なり、私たちの方法はリアルタイムで動作し（単一の消費者グレードGPUで推測あたり0.015秒）、インタラクティブなアプリケーションに実用的です。
包括的な実験は、最先端の方法と比較して幾何学的精度とレンダリング品質の両方の大幅な改善を示し、解像度のない3Dシーンの強化のための新しいパラダイムを確立します。

要約(オリジナル)

We present a novel approach for enhancing the resolution and geometric fidelity of 3D Gaussian Splatting (3DGS) beyond native training resolution. Current 3DGS methods are fundamentally limited by their input resolution, producing reconstructions that cannot extrapolate finer details than are present in the training views. Our work breaks this limitation through a lightweight generative model that predicts and refines additional 3D Gaussians where needed most. The key innovation is our Hessian-assisted sampling strategy, which intelligently identifies regions that are likely to benefit from densification, ensuring computational efficiency. Unlike computationally intensive GANs or diffusion approaches, our method operates in real-time (0.015s per inference on a single consumer-grade GPU), making it practical for interactive applications. Comprehensive experiments demonstrate significant improvements in both geometric accuracy and rendering quality compared to state-of-the-art methods, establishing a new paradigm for resolution-free 3D scene enhancement.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google