Hacking Predictors Means Hacking Cars: Using Sensitivity Analysis to Identify Trajectory Prediction Vulnerabilities for Autonomous Driving Security

要約

学習ベースの軌道予測器に対する敵対的攻撃はすでに実証されています。
ただし、状態履歴以外の軌道予測子の入力に対する摂動の影響や、これらの攻撃が下流の計画と制御にどのような影響を与えるかについては、まだ疑問が残っています。
この論文では、Trajectron++ と AgentFormer という 2 つの軌道予測モデルの感度分析を実行します。
すべての入力間で、Trajectron++ のほとんどすべての摂動感度は最新の状態履歴時点内にのみ存在するのに対し、AgentFormer の摂動感度は時間の経過とともに状態履歴全体に広がっていることが観察されます。
さらに、状態履歴の摂動に対する感度が支配的であるにもかかわらず、高速勾配符号法で作成された検出できない画像マップの摂動は、両方のモデルで大きな予測誤差の増加を引き起こす可能性があることを示します。
画像マップは両方のモデルの予測出力にわずかに寄与する可能性がありますが、この結果は、軌道予測子が敵対的な画像の摂動に対して堅牢であるというよりも、画像攻撃の影響を受けやすいことを明らかにしています。
最適化ベースのプランナーと感度の結果から作成された摂動の例を使用して、この脆弱性により中程度の走行速度から車両が突然停止する仕組みを示します。

要約(オリジナル)

Adversarial attacks on learning-based trajectory predictors have already been demonstrated. However, there are still open questions about the effects of perturbations on trajectory predictor inputs other than state histories, and how these attacks impact downstream planning and control. In this paper, we conduct a sensitivity analysis on two trajectory prediction models, Trajectron++ and AgentFormer. We observe that between all inputs, almost all of the perturbation sensitivities for Trajectron++ lie only within the most recent state history time point, while perturbation sensitivities for AgentFormer are spread across state histories over time. We additionally demonstrate that, despite dominant sensitivity on state history perturbations, an undetectable image map perturbation made with the Fast Gradient Sign Method can induce large prediction error increases in both models. Even though image maps may contribute slightly to the prediction output of both models, this result reveals that rather than being robust to adversarial image perturbations, trajectory predictors are susceptible to image attacks. Using an optimization-based planner and example perturbations crafted from sensitivity results, we show how this vulnerability can cause a vehicle to come to a sudden stop from moderate driving speeds.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google