Realistic Rainy Weather Simulation for LiDARs in CARLA Simulator

要約

悪天候時の知覚パフォーマンスを向上させるためにデータ拡張手法を採用することが、最近かなりの注目を集めています。
LiDAR 拡張手法のほとんどは、物理ベースのモデルまたは機械学習手法によって既存のデータセットを後処理します。
ただし、既存のデータセットでは環境アノテーションが限られており、車両の軌道が固定されているため、シーンを編集して交通の流れとシナリオの多様性を拡大することは困難です。
この目的を達成するために、このシナリオでの LiDAR の知覚パフォーマンスを向上させるために、雨天時の LiDAR データを増強するシミュレーター ベースの物理モデリング アプローチを提案します。
CARLA シミュレーターで雨天のモデリング タスクを完了し、LiDAR データ収集のパイプラインを確立します。
特に、雨天時に周囲の車両の車輪によって巻き上げられる水しぶきや飛沫に特別な注意を払い、開発したスプレーエミッター手法を通じてこの特殊なシナリオのシミュレーションを完了します。
さらに、LiDAR エコーの強度に対するさまざまな気象条件の影響を調べ、LiDAR エコーの強度の予測ネットワークを開発し、4 フィートの LiDAR 点群データのシミュレーションを完了します。
実験では、合成データによって強化されたモデルにより、Waymo オープン データセットの雨のシーケンスにおける物体検出タスクのパフォーマンスが向上することが観察されました。
コードとデータセットは両方とも https://github.com/PJLab-ADG/PCSim#rainypcsim で公開されます。

要約(オリジナル)

Employing data augmentation methods to enhance perception performance in adverse weather has attracted considerable attention recently. Most of the LiDAR augmentation methods post-process the existing dataset by physics-based models or machine-learning methods. However, due to the limited environmental annotations and the fixed vehicle trajectories in the existing dataset, it is challenging to edit the scene and expand the diversity of traffic flow and scenario. To this end, we propose a simulator-based physical modeling approach to augment LiDAR data in rainy weather in order to improve the perception performance of LiDAR in this scenario. We complete the modeling task of the rainy weather in the CARLA simulator and establish a pipeline for LiDAR data collection. In particular, we pay special attention to the spray and splash rolled up by the wheels of surrounding vehicles in rain and complete the simulation of this special scenario through the Spray Emitter method we developed. In addition, we examine the influence of different weather conditions on the intensity of the LiDAR echo, develop a prediction network for the intensity of the LiDAR echo, and complete the simulation of 4-feat LiDAR point cloud data. In the experiment, we observe that the model augmented by the synthetic data improves the object detection task’s performance in the rainy sequence of the Waymo Open Dataset. Both the code and the dataset will be made publicly available at https://github.com/PJLab-ADG/PCSim#rainypcsim.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google