A Survey on the Safety and Security Threats of Computer-Using Agents: JARVIS or Ultron?

要約

最近、コンピューティングデバイスとのAI駆動型の相互作用は、基本的なプロトタイプツールから、グラフィカルユーザーインターフェイスで人間のような操作をエミュレートする洗練されたLLMベースのシステムに進みました。
現在、デスクトップアプリケーション、Webページ、モバイルアプリのナビゲートなどのタスクを自律的に実行できる\ emph {コンピューター使用エージェント}（CUAS）の出現を目撃しています。
ただし、これらのエージェントが能力が高まるにつれて、新しい安全性とセキュリティリスクも導入します。
複数のソフトウェアコンポーネントとマルチモーダル入力を統合するという複雑さが追加されたLLM主導の推論の脆弱性は、セキュリティ環境をさらに複雑にします。
この論文では、CUAの安全性とセキュリティの脅威に関する知識の体系化を提示します。
包括的な文献レビューを実施し、4つの研究目標に沿って調査結果を蒸留します。
\ textit {\ textbf {（ii）}}}は、CUAS間の現在の安全脅威を分類します。
\ textit {\ textbf {（iii）}}既存の防御戦略の包括的な分類法を提案します。
\ textIT {\ textBf {（iv）}}は、CUAの安全性とパフォーマンスを評価するために使用される、一般的なベンチマーク、データセット、および評価メトリックを要約します。
これらの洞察に基づいて、私たちの研究は、未熟な脆弱性を探索するための構造化された基盤を将来の研究者に提供し、安全なコンピューター使用エージェントの設計と展開における実務家に実践的なガイダンスを提供します。

要約(オリジナル)

Recently, AI-driven interactions with computing devices have advanced from basic prototype tools to sophisticated, LLM-based systems that emulate human-like operations in graphical user interfaces. We are now witnessing the emergence of \emph{Computer-Using Agents} (CUAs), capable of autonomously performing tasks such as navigating desktop applications, web pages, and mobile apps. However, as these agents grow in capability, they also introduce novel safety and security risks. Vulnerabilities in LLM-driven reasoning, with the added complexity of integrating multiple software components and multimodal inputs, further complicate the security landscape. In this paper, we present a systematization of knowledge on the safety and security threats of CUAs. We conduct a comprehensive literature review and distill our findings along four research objectives: \textit{\textbf{(i)}} define the CUA that suits safety analysis; \textit{\textbf{(ii)} } categorize current safety threats among CUAs; \textit{\textbf{(iii)}} propose a comprehensive taxonomy of existing defensive strategies; \textit{\textbf{(iv)}} summarize prevailing benchmarks, datasets, and evaluation metrics used to assess the safety and performance of CUAs. Building on these insights, our work provides future researchers with a structured foundation for exploring unexplored vulnerabilities and offers practitioners actionable guidance in designing and deploying secure Computer-Using Agents.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google