DGTR: Distributed Gaussian Turbo-Reconstruction for Sparse-View Vast Scenes

要約

ノベルビュー合成 (NVS) アプローチは、広大なシーンの再構築において重要な役割を果たします。
ただし、これらの方法は高密度の画像入力と長時間のトレーニング時間に大きく依存しているため、計算リソースが限られている場合には適していません。
さらに、少数ショット手法では、広大な環境での再構成品質の低下に苦戦することがよくあります。
この論文では、スパースビューの広大なシーンを効率的にガウス再構成するための新しい分散フレームワークである DGTR を紹介します。
私たちのアプローチでは、シーンを領域に分割し、まばらな画像入力を使用してドローンによって個別に処理します。
フィードフォワード ガウス モデルを使用して高品質のガウス プリミティブを予測し、その後、グローバル アライメント アルゴリズムを使用して幾何学的一貫性を確保します。
合成ビューと深度事前分布がトレーニングをさらに強化するために組み込まれ、蒸留ベースのモデル集約メカニズムにより効率的な再構築が可能になります。
私たちの手法は、大幅に短縮されたトレーニング時間で高品質の大規模シーン再構成と新規ビュー合成を実現し、速度とスケーラビリティの両方で既存のアプローチを上回ります。
広大な航空シーンでフレームワークの有効性を実証し、数分以内に高品質の結果を達成します。
コードは [https://3d-aigc.github.io/DGTR] でリリースされます。

要約(オリジナル)

Novel-view synthesis (NVS) approaches play a critical role in vast scene reconstruction. However, these methods rely heavily on dense image inputs and prolonged training times, making them unsuitable where computational resources are limited. Additionally, few-shot methods often struggle with poor reconstruction quality in vast environments. This paper presents DGTR, a novel distributed framework for efficient Gaussian reconstruction for sparse-view vast scenes. Our approach divides the scene into regions, processed independently by drones with sparse image inputs. Using a feed-forward Gaussian model, we predict high-quality Gaussian primitives, followed by a global alignment algorithm to ensure geometric consistency. Synthetic views and depth priors are incorporated to further enhance training, while a distillation-based model aggregation mechanism enables efficient reconstruction. Our method achieves high-quality large-scale scene reconstruction and novel-view synthesis in significantly reduced training times, outperforming existing approaches in both speed and scalability. We demonstrate the effectiveness of our framework on vast aerial scenes, achieving high-quality results within minutes. Code will released on our [https://3d-aigc.github.io/DGTR].

arxiv情報

提供元, 利用サービス

arxiv.jp, Google