Attacking Vision-Language Computer Agents via Pop-ups

要約

大規模ビジョンおよび言語モデル (VLM) を活用した自律型エージェントは、Web を閲覧して旅行を予約したり、デスクトップ ソフトウェアを操作したりするなど、エージェントがこれらのインターフェイスを理解する必要がある日常のコンピューター タスクを完了する上で大きな可能性を示しています。
このような視覚入力はエージェント アプリケーションへの統合が進んでいますが、その周囲にどのような種類のリスクや攻撃が存在するのかは依然として不明です。
この研究では、VLM エージェントが、人間のユーザーが通常は認識して無視する、慎重に設計された一連の敵対的なポップアップによって簡単に攻撃される可能性があることを実証します。
この気が散るため、エージェントは通常どおりタスクを実行する代わりに、これらのポップアップをクリックしてしまいます。
これらのポップアップを OSWorld や VisualWebArena などの既存のエージェント テスト環境に統合すると、攻撃の成功率 (エージェントがポップアップをクリックする頻度) が平均 86% に達し、タスクの成功率が 47% 低下します。
エージェントにポップアップを無視するように依頼したり、広告通知を含めたりするなどの基本的な防御手法は、攻撃に対しては効果がありません。

要約(オリジナル)

Autonomous agents powered by large vision and language models (VLM) have demonstrated significant potential in completing daily computer tasks, such as browsing the web to book travel and operating desktop software, which requires agents to understand these interfaces. Despite such visual inputs becoming more integrated into agentic applications, what types of risks and attacks exist around them still remain unclear. In this work, we demonstrate that VLM agents can be easily attacked by a set of carefully designed adversarial pop-ups, which human users would typically recognize and ignore. This distraction leads agents to click these pop-ups instead of performing the tasks as usual. Integrating these pop-ups into existing agent testing environments like OSWorld and VisualWebArena leads to an attack success rate (the frequency of the agent clicking the pop-ups) of 86% on average and decreases the task success rate by 47%. Basic defense techniques such as asking the agent to ignore pop-ups or including an advertisement notice, are ineffective against the attack.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google