Module-wise Adaptive Adversarial Training for End-to-end Autonomous Driving

要約

深層学習の最近の進歩により、自動運転 (AD) モデル、特に認識、予測、計画段階を統合するエンドツーエンド システムが著しく改善され、最先端のパフォーマンスが実現されました。
ただし、これらのモデルは依然として敵対的な攻撃に対して脆弱であり、人間が知覚できない混乱によって意思決定プロセスが混乱する可能性があります。
敵対的トレーニングは、このような攻撃に対するモデルの堅牢性を高める効果的な方法ですが、エンドツーエンドの AD モデルへの適用に焦点を当てた先行研究はありません。
このペーパーでは、エンドツーエンドの AD モデルの敵対的トレーニングの最初のステップを踏み、新しいモジュールごとの適応的敵対的トレーニング (MA2T) を紹介します。
ただし、モデル内のさまざまな段階には明確な目的があり、強く相互接続されているため、従来の敵対的トレーニングをこのコンテキストに拡張することは非常に簡単ではありません。
これらの課題に対処するために、MA2T はまずモジュールごとのノイズ インジェクションを導入します。これは、さまざまなモジュールの入力前にノイズを注入し、各独立したモジュールの損失ではなく、全体的な目標のガイダンスに従ってトレーニング モデルをターゲットにします。
さらに、動的重量累積適応を導入します。これは、累積された重量の変更を組み込んで、各モジュールの貢献度 (累積削減率) に基づいて各モジュールの損失重量を適応的に学習および調整し、より良いバランスと堅牢なトレーニングを実現します。
防御の有効性を実証するために、ホワイトボックス攻撃とブラックボックス攻撃の両方の下で、いくつかのエンドツーエンド AD モデルにわたって広く使用されている nuScenes データセットで広範な実験を実施しました。そこでは、私たちの手法は他のベースラインを大幅に上回っています (+
5〜10％）。
さらに、CARLA シミュレーション環境での閉ループ評価を通じて防御の堅牢性を検証し、自然破損に対しても回復力が向上していることを示しています。

要約(オリジナル)

Recent advances in deep learning have markedly improved autonomous driving (AD) models, particularly end-to-end systems that integrate perception, prediction, and planning stages, achieving state-of-the-art performance. However, these models remain vulnerable to adversarial attacks, where human-imperceptible perturbations can disrupt decision-making processes. While adversarial training is an effective method for enhancing model robustness against such attacks, no prior studies have focused on its application to end-to-end AD models. In this paper, we take the first step in adversarial training for end-to-end AD models and present a novel Module-wise Adaptive Adversarial Training (MA2T). However, extending conventional adversarial training to this context is highly non-trivial, as different stages within the model have distinct objectives and are strongly interconnected. To address these challenges, MA2T first introduces Module-wise Noise Injection, which injects noise before the input of different modules, targeting training models with the guidance of overall objectives rather than each independent module loss. Additionally, we introduce Dynamic Weight Accumulation Adaptation, which incorporates accumulated weight changes to adaptively learn and adjust the loss weights of each module based on their contributions (accumulated reduction rates) for better balance and robust training. To demonstrate the efficacy of our defense, we conduct extensive experiments on the widely-used nuScenes dataset across several end-to-end AD models under both white-box and black-box attacks, where our method outperforms other baselines by large margins (+5-10%). Moreover, we validate the robustness of our defense through closed-loop evaluation in the CARLA simulation environment, showing improved resilience even against natural corruption.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google