Contrastive Learning-Based Framework for Sim-to-Real Mapping of Lidar Point Clouds in Autonomous Driving Systems

要約

知覚センサー モデルは、自動車シミュレーション環境の重要な要素です。
また、深層学習ベースの知覚モデルをトレーニングするための合成データセットを作成するための強力なツールとしても機能します。
現実的な知覚センサー モデルの開発は、シミュレートされたセンサー データと現実世界のセンサー出力の間に大きなギャップ (シミュレーションとリアルのギャップ) があるため、重大な課題を引き起こします。
この問題に対処するために、近年、学習ベースのモデルが有望なソリューションとして浮上しており、忠実度の低いシミュレートされたセンサー データを非常に現実的な出力にマッピングする比類のない可能性を備えています。
この可能性を動機として、この論文では、自動運転システムで広く使用されている知覚センサーである Lidar 点群のシム-トゥ-リアル マッピングに焦点を当てます。
我々は、画像から画像への変換技術の最近の進歩に触発された、新しい対照学習ベースの Sim-to-Real マッピング フレームワーク、つまり CLS2R を紹介します。
提案された CLS2R フレームワークは、深度、反射率、レイドロップなどのすべての重要な Lidar 属性を考慮して、Lidar 点群のロスレス表現を採用しています。
私たちは、提案されたフレームワークを広範囲に評価し、現実性、忠実性、および下流タスクのパフォーマンスへの影響を評価するためのさまざまな指標を使用して、最先端の画像間変換手法と比較します。
私たちの結果は、CLS2R がほぼすべての指標にわたって優れたパフォーマンスを示していることを示しています。
ソース コードは https://github.com/hamedhaghighi/CLS2R.git で入手できます。

要約(オリジナル)

Perception sensor models are essential elements of automotive simulation environments; they also serve as powerful tools for creating synthetic datasets to train deep learning-based perception models. Developing realistic perception sensor models poses a significant challenge due to the large gap between simulated sensor data and real-world sensor outputs, known as the sim-to-real gap. To address this problem, learning-based models have emerged as promising solutions in recent years, with unparalleled potential to map low-fidelity simulated sensor data into highly realistic outputs. Motivated by this potential, this paper focuses on sim-to-real mapping of Lidar point clouds, a widely used perception sensor in automated driving systems. We introduce a novel Contrastive-Learning-based Sim-to-Real mapping framework, namely CLS2R, inspired by the recent advancements in image-to-image translation techniques. The proposed CLS2R framework employs a lossless representation of Lidar point clouds, considering all essential Lidar attributes such as depth, reflectance, and raydrop. We extensively evaluate the proposed framework, comparing it with state-of-the-art image-to-image translation methods using a diverse range of metrics to assess realness, faithfulness, and the impact on the performance of a downstream task. Our results show that CLS2R demonstrates superior performance across nearly all metrics. Source code is available at https://github.com/hamedhaghighi/CLS2R.git.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google