MuDG: Taming Multi-modal Diffusion with Gaussian Splatting for Urban Scene Reconstruction

要約

ラディアンスフィールドの最近のブレークスルーは、自律運転における3Dシーンの再構築と新規ビュー合成（NVS）を大幅に進めています。
それにもかかわらず、重大な制限は持続します。再構築に基づく方法は、トレーニングの軌跡からの重要な視点逸脱の下で実質的な性能劣化を示しますが、世代ベースのテクニックは時間的一貫性と正確なシーンの制御性に苦労しています。
これらの課題を克服するために、マルチモーダル拡散モデルを都市のシーンの再建のためのガウススプラッティング（GS）と統合する革新的なフレームワークであるMudgを提示します。
MUDGは、RGBと幾何学的なプライアーを備えた総合Lidarポイント雲を活用して、新しい視点の光選挙的RGB、深さ、およびセマンティック出力を合成するマルチモーダルビデオ拡散モデルを調整します。
この合成パイプラインは、計算的に集中的にシーンあたりの最適化なしにフィードフォワードNVを可能にし、極端な視点の変化の下で堅牢性の強化を実現するための3DGS表現を改良するための包括的な監督信号を提供します。
Open Waymo Datasetでの実験は、Mudgが再構築と合成品質の両方で既存の方法を上回ることを示しています。

要約(オリジナル)

Recent breakthroughs in radiance fields have significantly advanced 3D scene reconstruction and novel view synthesis (NVS) in autonomous driving. Nevertheless, critical limitations persist: reconstruction-based methods exhibit substantial performance deterioration under significant viewpoint deviations from training trajectories, while generation-based techniques struggle with temporal coherence and precise scene controllability. To overcome these challenges, we present MuDG, an innovative framework that integrates Multi-modal Diffusion model with Gaussian Splatting (GS) for Urban Scene Reconstruction. MuDG leverages aggregated LiDAR point clouds with RGB and geometric priors to condition a multi-modal video diffusion model, synthesizing photorealistic RGB, depth, and semantic outputs for novel viewpoints. This synthesis pipeline enables feed-forward NVS without computationally intensive per-scene optimization, providing comprehensive supervision signals to refine 3DGS representations for rendering robustness enhancement under extreme viewpoint changes. Experiments on the Open Waymo Dataset demonstrate that MuDG outperforms existing methods in both reconstruction and synthesis quality.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google