RALAD: Bridging the Real-to-Sim Domain Gap in Autonomous Driving with Retrieval-Augmented Learning

要約

堅牢な自動運転システムを追求する中で、現実世界のデータセットでトレーニングされたモデルは、特に極端な気象条件などの特殊な状況に直面した場合、新しい環境に適応するのに苦労することがよくあります。
現実世界でこれらのコーナーケースを収集することは簡単ではないため、検証のためにシミュレーターを使用する必要があります。
しかし、高い計算コストとデータ配信におけるドメインギャップにより、実際の運転シナリオとシミュレートされた運転シナリオの間のシームレスな移行が妨げられてきました。
この課題に取り組むために、私たちは、現実とシミュレーションのギャップを低コストで埋めるように設計された新しいフレームワークである、自動運転のための検索拡張学習 (RALAD) を提案します。
RALAD は、(1) 個々の画像距離とグループ化された画像距離の両方を考慮した強化された最適トランスポート (OT) メソッドによるドメイン適応、(2) さまざまなモデルに適用できるシンプルで統一されたフレームワーク、(3) という 3 つの主要な設計を特徴としています。
) 堅牢性を維持しながら、計算コストのかかるレイヤーを凍結する効率的な微調整技術。
実験結果は、RALAD が 3 つの異なるモデルにわたって現実世界のシナリオでの精度を維持しながら、シミュレートされた環境でのパフォーマンス低下を補償することを示しています。
Cross View を例にとると、現実のシナリオにおける mIOU および mAP メトリクスは RALAD 微調整の前後で安定していますが、シミュレートされた環境では、mIOU および mAP メトリクスはそれぞれ 10.30% および 12.29% 改善されています。
さらに、私たちのアプローチの再トレーニングコストは約 88.1% 削減されます。
私たちのコードは https://github.com/JiachengZuo/RALAD.git で入手できます。

要約(オリジナル)

In the pursuit of robust autonomous driving systems, models trained on real-world datasets often struggle to adapt to new environments, particularly when confronted with corner cases such as extreme weather conditions. Collecting these corner cases in the real world is non-trivial, which necessitates the use of simulators for validation. However,the high computational cost and the domain gap in data distribution have hindered the seamless transition between real and simulated driving scenarios. To tackle this challenge, we propose Retrieval-Augmented Learning for Autonomous Driving (RALAD), a novel framework designed to bridge the real-to-sim gap at a low cost. RALAD features three primary designs, including (1) domain adaptation via an enhanced Optimal Transport (OT) method that accounts for both individual and grouped image distances, (2) a simple and unified framework that can be applied to various models, and (3) efficient fine-tuning techniques that freeze the computationally expensive layers while maintaining robustness. Experimental results demonstrate that RALAD compensates for the performance degradation in simulated environments while maintaining accuracy in real-world scenarios across three different models. Taking Cross View as an example, the mIOU and mAP metrics in real-world scenarios remain stable before and after RALAD fine-tuning, while in simulated environments,the mIOU and mAP metrics are improved by 10.30% and 12.29%, respectively. Moreover, the re-training cost of our approach is reduced by approximately 88.1%. Our code is available at https://github.com/JiachengZuo/RALAD.git.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google