CARLA2Real: a tool for reducing the sim2real gap in CARLA simulator

要約

自動運転車や自律ロボット、ドローンなどの自律システムの研究にはシミュレータが欠かせません。
グラフィックリアリズムなど、シミュレーションのさまざまな側面が大幅に進歩しているにもかかわらず、仮想環境と現実世界の環境の間には明らかなギャップが残っています。
最終的な目標は自律システムを現実世界に展開することであるため、sim2real のギャップを埋めることが最も重要です。
このペーパーでは、最先端のアプローチを採用して、シミュレーション データのフォトリアリズムを強化し、現実世界のデータセットの視覚的特徴と一致させます。
これに基づいて、広く使用されているオープンソースの CARLA シミュレーター用の使いやすい公開ツール (プラグイン) CARLA2Real を開発しました。
このツールは、CARLA の出力をほぼリアルタイムで強化し、13 FPS のフレーム レートを達成し、それを Cityscapes、KITTI、Mapillary Vista などの実世界のデータセットのビジュアル スタイルとリアリズムに変換します。
提案されたツールを採用することで、シミュレーターと強化モデルの出力の両方から、自動運転に関連するタスクに対応するグラウンド トゥルース アノテーションを含む合成データセットを生成しました。
次に、強化された合成データでトレーニングした場合の特徴抽出およびセマンティック セグメンテーション手法に対する提案されたアプローチの影響を評価するために、多くの実験を実行しました。
結果は、sim2real ギャップが大きく、導入されたアプローチによって実際に削減できることを示しています。

要約(オリジナル)

Simulators are indispensable for research in autonomous systems such as self-driving cars, autonomous robots and drones. Despite significant progress in various simulation aspects, such as graphical realism, an evident gap persists between the virtual and real-world environments. Since the ultimate goal is to deploy the autonomous systems in the real world, closing the sim2real gap is of utmost importance. In this paper, we employ a state-of-the-art approach to enhance the photorealism of simulated data, aligning them with the visual characteristics of real-world datasets. Based on this, we developed CARLA2Real, an easy-to-use, publicly available tool (plug-in) for the widely used and open-source CARLA simulator. This tool enhances the output of CARLA in near real-time, achieving a frame rate of 13 FPS, translating it to the visual style and realism of real-world datasets such as Cityscapes, KITTI, and Mapillary Vistas. By employing the proposed tool, we generated synthetic datasets from both the simulator and the enhancement model outputs, including their corresponding ground truth annotations for tasks related to autonomous driving. Then, we performed a number of experiments to evaluate the impact of the proposed approach on feature extraction and semantic segmentation methods when trained on the enhanced synthetic data. The results demonstrate that the sim2real gap is significant and can indeed be reduced by the introduced approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google