LiDAR-GS:Real-time LiDAR Re-Simulation using Gaussian Splatting

要約

LiDAR シミュレーションは、自動運転の閉ループ シミュレーションにおいて重要な役割を果たします。
再構成メッシュや Neural Radiance Fields (NeRF) の使用などの最近の進歩により、LiDAR の物理的特性のシミュレーションは進歩しましたが、これらの方法では満足のいくフレーム レートとレンダリング品質を達成するのに苦労しています。
これらの制限に対処するために、都市の公共道路シーンでの LiDAR センサー スキャンのリアルタイム高忠実度再シミュレーションのための、初の LiDAR ガウス スプラッティング法である LiDAR-GS を紹介します。
カメラ モデル用に設計されたバニラ ガウス スプラッティングは、LiDAR の再シミュレーションに直接適用できません。
パッシブカメラとアクティブLiDARの間のギャップを埋めるために、当社のLiDAR-GSは、LiDARレンジビューモデルに基づいた微分可能なレーザービームスプラッティングを設計します。
この革新により、微細断面にレーザーを投影することで正確な表面スプラッティングが可能になり、局所的なアフィン近似に関連するアーティファクトが効果的に排除されます。
さらに、LiDAR-GS は、ビュー依存の手がかりをさらに統合するニューラル ガウス フィールドを活用して、入射角や外部要因によって影響を受ける主要な LiDAR プロパティを表現します。
これらの実践を動的インスタンス分解などのいくつかの重要な適応と組み合わせることで、私たちのアプローチは深さ、強度、レイドロップ チャネルを同時に再シミュレーションすることに成功し、公開されているレンダリング フレーム レートと品質の両方で最先端の結果を達成します。
利用可能な大規模なシーン データセット。
私たちのソースコードは公開されます。

要約(オリジナル)

LiDAR simulation plays a crucial role in closed-loop simulation for autonomous driving. Although recent advancements, such as the use of reconstructed mesh and Neural Radiance Fields (NeRF), have made progress in simulating the physical properties of LiDAR, these methods have struggled to achieve satisfactory frame rates and rendering quality. To address these limitations, we present LiDAR-GS, the first LiDAR Gaussian Splatting method, for real-time high-fidelity re-simulation of LiDAR sensor scans in public urban road scenes. The vanilla Gaussian Splatting, designed for camera models, cannot be directly applied to LiDAR re-simulation. To bridge the gap between passive camera and active LiDAR, our LiDAR-GS designs a differentiable laser beam splatting, grounded in the LiDAR range view model. This innovation allows for precise surface splatting by projecting lasers onto micro cross-sections, effectively eliminating artifacts associated with local affine approximations. Additionally, LiDAR-GS leverages Neural Gaussian Fields, which further integrate view-dependent clues, to represent key LiDAR properties that are influenced by the incident angle and external factors. Combining these practices with some essential adaptations, e.g., dynamic instances decomposition, our approach succeeds in simultaneously re-simulating depth, intensity, and ray-drop channels, achieving state-of-the-art results in both rendering frame rate and quality on publically available large scene datasets. Our source code will be made publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google