Manipulating Trajectory Prediction with Backdoors

要約

自動運転車は、不確実で複雑な交通状況において安全な操作を可能にするために、周囲のエージェントの軌道を予測する必要があります。
企業が現実世界に軌道予測を適用することが増えているため、セキュリティが重要な懸念となっています。
このペーパーでは、他の分野ではセキュリティ上の脅威として認識されているものの、これまで軌道予測では見落とされてきたバックドアに焦点を当てます。
この目的を達成するために、軌道予測に影響を与える可能性のある 4 つのトリガーについて説明し、調査します。
次に、これらのトリガー (車両のブレーキなど) がトレーニング中に望ましい出力 (カーブなど) と相関すると、最先端の軌道予測モデルの望ましい出力が生じることを示します。
言い換えれば、このモデルは良好な無害なパフォーマンスを備えていますが、バックドアに対して脆弱です。
これは、トリガー操作がターゲット車両の後ろの非カジュアルエージェントによって実行された場合でも当てはまります。
副作用として、私たちの分析により、軌道予測モデル内の興味深い制限が明らかになりました。
最後に、バックドアに対するさまざまな防御策を評価します。
単純なオフロード チェックなど、すべてのトリガーの検出を有効にしないものもありますが、クラスタリングはバックドアを見つけるための手動検査をサポートする有望な候補です。

要約(オリジナル)

Autonomous vehicles ought to predict the surrounding agents’ trajectories to allow safe maneuvers in uncertain and complex traffic situations. As companies increasingly apply trajectory prediction in the real world, security becomes a relevant concern. In this paper, we focus on backdoors – a security threat acknowledged in other fields but so far overlooked for trajectory prediction. To this end, we describe and investigate four triggers that could affect trajectory prediction. We then show that these triggers (for example, a braking vehicle), when correlated with a desired output (for example, a curve) during training, cause the desired output of a state-of-the-art trajectory prediction model. In other words, the model has good benign performance but is vulnerable to backdoors. This is the case even if the trigger maneuver is performed by a non-casual agent behind the target vehicle. As a side-effect, our analysis reveals interesting limitations within trajectory prediction models. Finally, we evaluate a range of defenses against backdoors. While some, like simple offroad checks, do not enable detection for all triggers, clustering is a promising candidate to support manual inspection to find backdoors.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google