RALAD: Bridging the Real-to-Sim Domain Gap in Autonomous Driving with Retrieval-Augmented Learning

要約

ロバストな自律走行システムの追求において、実世界のデータセットで学習されたモデルは、特に異常気象のようなコーナーケースに直面した場合、新しい環境に適応するのに苦労することが多い。実世界でこのようなコーナーケースを収集することは自明ではないため、検証のためにシミュレータを使用する必要がある。しかし、高い計算コストとデータ分布のドメインギャップが、実走行シナリオとシミュレートされた走行シナリオ間のシームレスな移行を妨げている。この課題に取り組むため、我々は、低コストで実車とシミュレータのギャップを埋めるために設計された新しいフレームワークであるRetrieval-Augmented Learning for Autonomous Driving（RALAD）を提案する。RALADは、(1)個々の画像とグループ化された画像の距離の両方を考慮する、強化されたOptimal Transport(OT)手法による領域適応、(2)様々なモデルに適用可能な、シンプルで統一されたフレームワーク、(3)ロバスト性を維持しつつ、計算コストのかかるレイヤーを凍結する効率的な微調整技術、といった3つの主要な設計を特徴とする。実験結果は、RALADが3つの異なるモデルにおいて、実世界のシナリオで精度を維持しながら、シミュレーション環境での性能劣化を補正することを示している。Cross Viewを例にとると、実環境におけるmIOUとmAPの指標はRALADによる微調整の前後で安定しているのに対し、シミュレーション環境ではmIOUとmAPの指標はそれぞれ10.30%と12.29%向上している。さらに、我々のアプローチの再トレーニングコストは約88.1%削減された。我々のコードはhttps://github.com/JiachengZuo/RALAD.git。

要約(オリジナル)

In the pursuit of robust autonomous driving systems, models trained on real-world datasets often struggle to adapt to new environments, particularly when confronted with corner cases such as extreme weather conditions. Collecting these corner cases in the real world is non-trivial, which necessitates the use of simulators for validation. However,the high computational cost and the domain gap in data distribution have hindered the seamless transition between real and simulated driving scenarios. To tackle this challenge, we propose Retrieval-Augmented Learning for Autonomous Driving (RALAD), a novel framework designed to bridge the real-to-sim gap at a low cost. RALAD features three primary designs, including (1) domain adaptation via an enhanced Optimal Transport (OT) method that accounts for both individual and grouped image distances, (2) a simple and unified framework that can be applied to various models, and (3) efficient fine-tuning techniques that freeze the computationally expensive layers while maintaining robustness. Experimental results demonstrate that RALAD compensates for the performance degradation in simulated environments while maintaining accuracy in real-world scenarios across three different models. Taking Cross View as an example, the mIOU and mAP metrics in real-world scenarios remain stable before and after RALAD fine-tuning, while in simulated environments,the mIOU and mAP metrics are improved by 10.30% and 12.29%, respectively. Moreover, the re-training cost of our approach is reduced by approximately 88.1%. Our code is available at https://github.com/JiachengZuo/RALAD.git.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL