Adversarial Backdoor Attack by Naturalistic Data Poisoning on Trajectory Prediction in Autonomous Driving

要約

自動運転では、動作予測は安全な動作計画の基礎となるため、敵対的な攻撃に対する予測モデルのセキュリティと堅牢性が最も重要です。
私たちは、軌道予測モデルの潜在的な脆弱性を研究する手段として、軌道予測モデルに対する新しい敵対的バックドア攻撃を提案します。
私たちの攻撃は、新しい 2 段階のアプローチを使用して作成された自然主義的、したがってステルスな毒入りサンプルを介して、訓練時に被害者に影響を与えます。
まず、攻撃車両の軌道を乱すことでトリガーが作成され、次に 2 レベルの最適化手法を使用してシーンを変換することで偽装されます。
提案された攻撃は、特定のモデル アーキテクチャに依存せず、ブラックボックス方式で動作するため、被害者モデルの知識がなくても効果的である可能性があります。
私たちは、軌道予測用にカスタマイズされたメトリクスを使用して、2 つのベンチマーク データセットに対して最先端の予測モデルを使用して広範な実証研究を実施します。
提案された攻撃は、予測モデルのパフォーマンスを大幅に妨げることができるため非常に効果的であり、被害者には気付かれず、制約された条件下でも被害者に悪意のある動作を強制するため効率的であることを示します。
アブレーション研究を通じて、さまざまな攻撃設計の選択の影響を分析し、その後、提案された攻撃に対する既存の防御メカニズムを評価します。

要約(オリジナル)

In autonomous driving, behavior prediction is fundamental for safe motion planning, hence the security and robustness of prediction models against adversarial attacks are of paramount importance. We propose a novel adversarial backdoor attack against trajectory prediction models as a means of studying their potential vulnerabilities. Our attack affects the victim at training time via naturalistic, hence stealthy, poisoned samples crafted using a novel two-step approach. First, the triggers are crafted by perturbing the trajectory of attacking vehicle and then disguised by transforming the scene using a bi-level optimization technique. The proposed attack does not depend on a particular model architecture and operates in a black-box manner, thus can be effective without any knowledge of the victim model. We conduct extensive empirical studies using state-of-the-art prediction models on two benchmark datasets using metrics customized for trajectory prediction. We show that the proposed attack is highly effective, as it can significantly hinder the performance of prediction models, unnoticeable by the victims, and efficient as it forces the victim to generate malicious behavior even under constrained conditions. Via ablative studies, we analyze the impact of different attack design choices followed by an evaluation of existing defence mechanisms against the proposed attack.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google