Realistic Adversarial Attacks for Robustness Evaluation of Trajectory Prediction Models via Future State Perturbation

要約

軌道予測は、自律型車両システムの重要な要素であり、他の道路利用者の動きを予測して対応できるようにします。
敵対的な攻撃に対する予測モデルの堅牢性を評価することは、実際のトラフィックにおける信頼性を確保するために不可欠です。
ただし、現在のアプローチは、周囲のエージェントの過去の位置を摂動することに焦点を当てる傾向があり、非現実的なシナリオを生成し、重要な脆弱性を見落とす可能性があります。
この制限は、現実世界の条件でのモデルパフォーマンスの過度に楽観的な評価をもたらす可能性があります。
この作業では、過去だけでなく将来の敵対的なエージェントの将来の状態が、以前に検出されなかった弱点を明らかにし、それによってモデルの堅牢性のより厳格な評価を提供できることを実証します。
私たちの斬新なアプローチには、動的な制約が組み込まれ、戦術的な行動を保持し、より効果的で現実的な敵対的な攻撃を可能にします。
これらの敵対的な軌跡のリアリズムと影響を評価するための新しいパフォーマンス測定を導入します。
最先端の予測モデルでの方法をテストすると、敵対条件下での予測エラーと衝突率の大幅な増加が明らかになりました。
定性分析はさらに、私たちの攻撃が、安全な予測と思われるものの潜在的な衝突を検出することができないなど、重大な弱点を暴露する可能性があることを示しました。
これらの結果は、自動運転車の軌跡予測モデルの信頼性をよりよく評価し、改善するために、より包括的な敵対的テストの必要性を強調しています。

要約(オリジナル)

Trajectory prediction is a key element of autonomous vehicle systems, enabling them to anticipate and react to the movements of other road users. Evaluating the robustness of prediction models against adversarial attacks is essential to ensure their reliability in real-world traffic. However, current approaches tend to focus on perturbing the past positions of surrounding agents, which can generate unrealistic scenarios and overlook critical vulnerabilities. This limitation may result in overly optimistic assessments of model performance in real-world conditions. In this work, we demonstrate that perturbing not just past but also future states of adversarial agents can uncover previously undetected weaknesses and thereby provide a more rigorous evaluation of model robustness. Our novel approach incorporates dynamic constraints and preserves tactical behaviors, enabling more effective and realistic adversarial attacks. We introduce new performance measures to assess the realism and impact of these adversarial trajectories. Testing our method on a state-of-the-art prediction model revealed significant increases in prediction errors and collision rates under adversarial conditions. Qualitative analysis further showed that our attacks can expose critical weaknesses, such as the inability of the model to detect potential collisions in what appear to be safe predictions. These results underscore the need for more comprehensive adversarial testing to better evaluate and improve the reliability of trajectory prediction models for autonomous vehicles.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google