LiHi-GS: LiDAR-Supervised Gaussian Splatting for Highway Driving Scene Reconstruction

要約

フォトリアリスティックな 3D シーンの再構築は自動運転において重要な役割を果たしており、既存のデータセットから新しいデータを生成して、安全性が重要なシナリオをシミュレートし、追加の取得コストをかけずにトレーニング データを拡張できるようになります。
ガウス スプラッティング (GS) は、シーンの明示的な 3D ガウス表現によるリアルタイムのフォトリアリスティックなレンダリングを容易にし、暗黙的なニューラル ラディアンス フィールド (NeRF) よりも高速な処理とより直感的なシーン編集を実現します。
広範な GS 研究により、自動運転アプリケーションにおける有望な進歩が得られましたが、2 つの重要な側面が見落とされています。1 つ目は、既存の手法は主に低速で機能豊富な都市シーンに焦点を当てており、高速道路のシナリオが自動運転において重要な役割を果たしているという事実を無視しています。
第 2 に、LiDAR は自動運転プラットフォームでは一般的ですが、既存の手法は主に画像から学習し、LiDAR を初期推定のみに使用するか、正確なセンサー モデリングを行わずに使用するため、LiDAR が提供する豊富な深度情報を活用できず、LiDAR データを合成する機能が制限されます。
この論文では、LiDAR の監視と LiDAR レンダリングのサポートを通じてシーンの再構築を改善した、動的なシーンの合成と編集のための新しい GS 手法を提案します。
主に都市データセットでテストされたこれまでの作品とは異なり、私たちの知る限りでは、まばらなセンサー ビューとモノトーンの背景を備えた、より困難で自動運転に関連性の高い高速道路のシーンに焦点を当てた最初の作品です。

要約(オリジナル)

Photorealistic 3D scene reconstruction plays an important role in autonomous driving, enabling the generation of novel data from existing datasets to simulate safety-critical scenarios and expand training data without additional acquisition costs. Gaussian Splatting (GS) facilitates real-time, photorealistic rendering with an explicit 3D Gaussian representation of the scene, providing faster processing and more intuitive scene editing than the implicit Neural Radiance Fields (NeRFs). While extensive GS research has yielded promising advancements in autonomous driving applications, they overlook two critical aspects: First, existing methods mainly focus on low-speed and feature-rich urban scenes and ignore the fact that highway scenarios play a significant role in autonomous driving. Second, while LiDARs are commonplace in autonomous driving platforms, existing methods learn primarily from images and use LiDAR only for initial estimates or without precise sensor modeling, thus missing out on leveraging the rich depth information LiDAR offers and limiting the ability to synthesize LiDAR data. In this paper, we propose a novel GS method for dynamic scene synthesis and editing with improved scene reconstruction through LiDAR supervision and support for LiDAR rendering. Unlike prior works that are tested mostly on urban datasets, to the best of our knowledge, we are the first to focus on the more challenging and highly relevant highway scenes for autonomous driving, with sparse sensor views and monotone backgrounds.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google