Manipulating Trajectory Prediction with Backdoors

要約

自律走行車は、不確実で複雑な交通状況において安全な操縦を可能にするために、周囲のエージェントの軌道を予測する必要がある。実世界で軌道予測を適用する企業が増えるにつれ、セキュリティが重要な関心事となっている。本論文では、他の分野では認知されているが、軌道予測ではこれまで見過ごされてきたセキュリティ上の脅威であるバックドアに焦点を当てる。このため、軌道予測に影響を与える可能性のある4つのトリガーについて説明し、調査する。そして、これらのトリガー（例えば、ブレーキ車両）が、訓練中に望ましい出力（例えば、曲線）と相関するとき、最先端の軌道予測モデルの望ましい出力を引き起こすことを示す。言い換えれば、このモデルは良性性能は高いが、バックドアに対して脆弱である。これは、トリガーとなるマニューバが、ターゲット車両の後方にいるカジュアルでないエージェントによって実行される場合でも同様である。副次的な効果として、我々の分析は軌道予測モデルにおける興味深い限界を明らかにする。最後に、バックドアに対する様々な防御策を評価する。単純なオフロード・チェックのように、すべてのトリガーを検出できるわけではないものもあるが、クラスタリングはバックドアを見つけるための手動検査をサポートする有望な候補である。

要約(オリジナル)

Autonomous vehicles ought to predict the surrounding agents’ trajectories to allow safe maneuvers in uncertain and complex traffic situations. As companies increasingly apply trajectory prediction in the real world, security becomes a relevant concern. In this paper, we focus on backdoors – a security threat acknowledged in other fields but so far overlooked for trajectory prediction. To this end, we describe and investigate four triggers that could affect trajectory prediction. We then show that these triggers (for example, a braking vehicle), when correlated with a desired output (for example, a curve) during training, cause the desired output of a state-of-the-art trajectory prediction model. In other words, the model has good benign performance but is vulnerable to backdoors. This is the case even if the trigger maneuver is performed by a non-casual agent behind the target vehicle. As a side-effect, our analysis reveals interesting limitations within trajectory prediction models. Finally, we evaluate a range of defenses against backdoors. While some, like simple offroad checks, do not enable detection for all triggers, clustering is a promising candidate to support manual inspection to find backdoors.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL