LiDAR-RT: Gaussian-based Ray Tracing for Dynamic LiDAR Re-simulation

要約

このペーパーは、動的運転シナリオにおけるリアルタイム LiDAR 再シミュレーションの課題を対象としています。
最近のアプローチでは、神経放射輝度フィールドと LiDAR センサーの物理モデリングを組み合わせて利用し、忠実度の高い再シミュレーション結果を実現しています。
残念ながら、これらの方法は大規模なシーンでの高い計算要求による制限に直面しており、リアルタイムの LiDAR レンダリングを実行できません。
これらの制約を克服するために、私たちは、運転シーンのリアルタイムで物理的に正確な LiDAR 再シミュレーションをサポートする新しいフレームワークである LiDAR-RT を提案します。
私たちの主な貢献は、ガウス プリミティブとハードウェア アクセラレーションによるレイ トレーシング テクノロジーを統合した、効率的かつ効果的なレンダリング パイプラインの開発です。
具体的には、学習可能なパラメータを持つガウス プリミティブを使用して LiDAR センサーの物理的特性をモデル化し、シーン ダイナミクスを処理するシーン グラフを組み込みます。
このシーン表現に基づいて、私たちのフレームワークは最初にバウンディング ボリューム階層 (BVH) を構築し、次に各ピクセルにレイをキャストし、微分可能なレンダリング アルゴリズムを通じて新しい LiDAR ビューを生成します。
重要なのは、私たちのフレームワークは、柔軟なシーン編集操作とさまざまなセンサー構成によるリアルなレンダリングをサポートしていることです。
複数の公開ベンチマークにわたる広範な実験により、私たちの手法がレンダリングの品質と効率の点で最先端の手法を上回ることが実証されました。
私たちのプロジェクト ページは https://zju3dv.github.io/lidar-rt にあります。

要約(オリジナル)

This paper targets the challenge of real-time LiDAR re-simulation in dynamic driving scenarios. Recent approaches utilize neural radiance fields combined with the physical modeling of LiDAR sensors to achieve high-fidelity re-simulation results. Unfortunately, these methods face limitations due to high computational demands in large-scale scenes and cannot perform real-time LiDAR rendering. To overcome these constraints, we propose LiDAR-RT, a novel framework that supports real-time, physically accurate LiDAR re-simulation for driving scenes. Our primary contribution is the development of an efficient and effective rendering pipeline, which integrates Gaussian primitives and hardware-accelerated ray tracing technology. Specifically, we model the physical properties of LiDAR sensors using Gaussian primitives with learnable parameters and incorporate scene graphs to handle scene dynamics. Building upon this scene representation, our framework first constructs a bounding volume hierarchy (BVH), then casts rays for each pixel and generates novel LiDAR views through a differentiable rendering algorithm. Importantly, our framework supports realistic rendering with flexible scene editing operations and various sensor configurations. Extensive experiments across multiple public benchmarks demonstrate that our method outperforms state-of-the-art methods in terms of rendering quality and efficiency. Our project page is at https://zju3dv.github.io/lidar-rt.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google