A Unified Generative Framework for Realistic Lidar Simulation in Autonomous Driving Systems

要約

知覚センサーのシミュレーション モデルは、自動運転システム (ADS) の仮想検証および検証 (V\&V) に使用される自動車シミュレーターの不可欠なコンポーネントです。
これらのモデルは、深層学習ベースの知覚モデルをトレーニングするための合成データセットを生成するための強力なツールとしても機能します。
Lidar は、3D 環境スキャンの精度が高いため、ADS の知覚センサーの中で広く使用されているセンサー タイプです。
ただし、現実的な LiDAR シミュレーション モデルを開発することは、技術的に大きな課題です。
特に、非現実的なモデルでは、合成された点群と現実世界の点群の間に大きなギャップが生じ、ADS アプリケーションでの有効性が制限される可能性があります。
最近、現実的な感覚データを合成するための有望なソリューションとして、深層生成モデルが登場しています。
ただし、Lidar シミュレーションの場合、ディープ生成モデルは主に従来のアルゴリズムとハイブリッド化されており、統合された生成アプローチは文献でほとんど調査されていません。
この研究ギャップを動機として、私たちは Lidar シミュレーションの忠実度を高めるための統一された生成フレームワークを提案します。
私たちが提案するフレームワークは、可逆変換を介して Lidar 点群を深度反射画像に投影し、新しい制御可能な Lidar 点群生成モデル CoLiGen を使用して画像を変換します。
私たちは CoLiGen モデルを徹底的に評価し、さまざまな指標を使用して最先端の画像間変換モデルと比較し、下流の知覚モデルの現実性、忠実性、パフォーマンスを評価します。
私たちの結果は、CoLiGen がほとんどの指標において優れたパフォーマンスを示すことを示しています。
この研究のデータセットとソース コードは、https://github.com/hamedhaghighi/CoLiGen.git で入手できます。

要約(オリジナル)

Simulation models for perception sensors are integral components of automotive simulators used for the virtual Verification and Validation (V\&V) of Autonomous Driving Systems (ADS). These models also serve as powerful tools for generating synthetic datasets to train deep learning-based perception models. Lidar is a widely used sensor type among the perception sensors for ADS due to its high precision in 3D environment scanning. However, developing realistic Lidar simulation models is a significant technical challenge. In particular, unrealistic models can result in a large gap between the synthesised and real-world point clouds, limiting their effectiveness in ADS applications. Recently, deep generative models have emerged as promising solutions to synthesise realistic sensory data. However, for Lidar simulation, deep generative models have been primarily hybridised with conventional algorithms, leaving unified generative approaches largely unexplored in the literature. Motivated by this research gap, we propose a unified generative framework to enhance Lidar simulation fidelity. Our proposed framework projects Lidar point clouds into depth-reflectance images via a lossless transformation, and employs our novel Controllable Lidar point cloud Generative model, CoLiGen, to translate the images. We extensively evaluate our CoLiGen model, comparing it with the state-of-the-art image-to-image translation models using various metrics to assess the realness, faithfulness, and performance of a downstream perception model. Our results show that CoLiGen exhibits superior performance across most metrics. The dataset and source code for this research are available at https://github.com/hamedhaghighi/CoLiGen.git.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google