Hijacking Vision-and-Language Navigation Agents with Adversarial Environmental Attacks

要約

オープンワールド環境でタスクを実行するように自然言語で指示できる身体支援エージェントは、製造や在宅介護などの労働作業に大きな影響を与える可能性があり、エージェントに依存する人々の生活に利益をもたらします。
この研究では、エージェントの動作環境の外観におけるローカルな変更によってこの利点がどのようにハイジャックされるかを検討します。
具体的には、一般的な視覚と言語のナビゲーション (VLN) タスクを代表的な設定として取り上げ、3D 攻撃オブジェクトの外観を最適化して、環境内でそれを観察する事前訓練された VLN エージェントに望ましい動作を誘発するホワイトボックス敵対的攻撃を開発します。
私たちは、提案された攻撃により、VLN エージェントがその指示を無視し、攻撃オブジェクトに遭遇した後に代替アクションを実行する可能性があることを実証します。これは、攻撃を最適化するときに考慮されなかった指示やエージェントのパスであってもです。
これらの新しい設定では、攻撃が早期終了動作を誘発したり、攻撃者が定義した複数ステップの軌道に沿ってエージェントを迂回させたりする可能性があることがわかりました。
どちらの状況でも、環境攻撃により、エージェントがユーザーの指示に正常に従う能力が大幅に低下します。

要約(オリジナル)

Assistive embodied agents that can be instructed in natural language to perform tasks in open-world environments have the potential to significantly impact labor tasks like manufacturing or in-home care — benefiting the lives of those who come to depend on them. In this work, we consider how this benefit might be hijacked by local modifications in the appearance of the agent’s operating environment. Specifically, we take the popular Vision-and-Language Navigation (VLN) task as a representative setting and develop a whitebox adversarial attack that optimizes a 3D attack object’s appearance to induce desired behaviors in pretrained VLN agents that observe it in the environment. We demonstrate that the proposed attack can cause VLN agents to ignore their instructions and execute alternative actions after encountering the attack object — even for instructions and agent paths not considered when optimizing the attack. For these novel settings, we find our attacks can induce early-termination behaviors or divert an agent along an attacker-defined multi-step trajectory. Under both conditions, environmental attacks significantly reduce agent capabilities to successfully follow user instructions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google