Towards Physically Realizable Adversarial Attacks in Embodied Vision Navigation

要約

具現化ビジョンナビゲーションの大幅な進歩により、ディープニューラルネットワークを悪用した敵対的攻撃に対する脆弱性が懸念されている。特に、人間の安全を脅かす可能性のある3D物理的攻撃の脅威を考えると、具現化ビジョンナビゲーションの敵対的堅牢性を調査することは極めて重要である。しかし、具現化ビジョンナビゲーションのための既存の攻撃方法は、デジタル摂動を物理世界に転送する際の課題により、物理的な実現性に欠けることが多い。さらに、物体検出のための現在の物理的攻撃は、ナビゲーションシナリオにおける多視点有効性と視覚的自然性の両方を達成するのに苦労している。この問題に対処するため、我々は、不透明度とテクスチャの両方が学習可能な敵対的パッチを物体に貼り付けることで、具現化されたナビゲーションのための実用的な攻撃手法を提案する。具体的には、様々な視点での有効性を確保するために、オブジェクト認識サンプリングに基づく多視点最適化戦略を採用し、ナビゲーションに用いられる視覚ベースの知覚モデルからのフィードバックに基づいてパッチのテクスチャを最適化する。パッチを人間の観察者に目立たなくするために、2段階の不透明度最適化メカニズムを導入し、テクスチャ最適化の後に不透明度を微調整する。実験結果は、我々の敵対的パッチがナビゲーションの成功率を平均22.39%低下させ、実用性、有効性、自然性において従来の方法を凌駕することを実証している。コードはhttps://github.com/chen37058/Physical-Attacks-in-Embodied-Nav。

要約(オリジナル)

The significant advancements in embodied vision navigation have raised concerns about its susceptibility to adversarial attacks exploiting deep neural networks. Investigating the adversarial robustness of embodied vision navigation is crucial, especially given the threat of 3D physical attacks that could pose risks to human safety. However, existing attack methods for embodied vision navigation often lack physical feasibility due to challenges in transferring digital perturbations into the physical world. Moreover, current physical attacks for object detection struggle to achieve both multi-view effectiveness and visual naturalness in navigation scenarios. To address this, we propose a practical attack method for embodied navigation by attaching adversarial patches to objects, where both opacity and textures are learnable. Specifically, to ensure effectiveness across varying viewpoints, we employ a multi-view optimization strategy based on object-aware sampling, which optimizes the patch’s texture based on feedback from the vision-based perception model used in navigation. To make the patch inconspicuous to human observers, we introduce a two-stage opacity optimization mechanism, in which opacity is fine-tuned after texture optimization. Experimental results demonstrate that our adversarial patches decrease the navigation success rate by an average of 22.39%, outperforming previous methods in practicality, effectiveness, and naturalness. Code is available at: https://github.com/chen37058/Physical-Attacks-in-Embodied-Nav

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL