Quantifying the LiDAR Sim-to-Real Domain Shift: A Detailed Investigation Using Object Detectors and Analyzing Point Clouds at Target-Level

要約

自律走行用のニューラルネットワークに基づくLiDAR物体検出アルゴリズムには、トレーニング、検証、テストのために大量のデータが必要です。実世界のデータ収集とラベリングには時間とコストがかかるため、シミュレーションに基づく合成データ生成が有効な代替手段となります。しかし、ニューラルネットワークのトレーニングにシミュレーションデータを使用すると、シーン、シナリオ、分布の違いにより、トレーニングデータとテストデータのドメインシフトが発生します。本研究では、シナリオが同一な実世界とシミュレーションの新しいデータセットで学習させたLiDAR物体検出器を用いて、シミュレーションから実世界へのドメインシフトを定量化します。さらに、シミュレートされたデータがどの程度実世界のデータに似ているか、シミュレートされたデータで訓練された物体検出器がどの程度実世界のデータで機能するかという疑問にも答えています。さらに、ターゲットの3Dバウンディングボックス内の点群を実世界とシミュレーションで比較することで、ターゲットレベルの点群を分析する。実験の結果、シナリオが同じデータセットであっても、シミュレートからリアルへのドメインシフトが顕著に存在することがわかった。このドメインシフトは、シミュレーションデータで学習した物体検出器の平均精度を約14%低下させることになる。さらに、シミュレーションに簡単なノイズモデルを導入することで、このドメインシフトを低減できることを実験により明らかにした。さらに、現実世界の物理をモデル化するための単純なダウンサンプリング法は、物体検出器の性能に影響を与えないことを示す。

要約(オリジナル)

LiDAR object detection algorithms based on neural networks for autonomous driving require large amounts of data for training, validation, and testing. As real-world data collection and labeling are time-consuming and expensive, simulation-based synthetic data generation is a viable alternative. However, using simulated data for the training of neural networks leads to a domain shift of training and testing data due to differences in scenes, scenarios, and distributions. In this work, we quantify the sim-to-real domain shift by means of LiDAR object detectors trained with a new scenario-identical real-world and simulated dataset. In addition, we answer the questions of how well the simulated data resembles the real-world data and how well object detectors trained on simulated data perform on real-world data. Further, we analyze point clouds at the target-level by comparing real-world and simulated point clouds within the 3D bounding boxes of the targets. Our experiments show that a significant sim-to-real domain shift exists even for our scenario-identical datasets. This domain shift amounts to an average precision reduction of around 14 % for object detectors trained with simulated data. Additional experiments reveal that this domain shift can be lowered by introducing a simple noise model in simulation. We further show that a simple downsampling method to model real-world physics does not influence the performance of the object detectors.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL