MobileSafetyBench: Evaluating Safety of Autonomous Agents in Mobile Device Control

要約

大規模言語モデル (LLM) を利用した自律エージェントは、モバイル デバイス制御を含むさまざまなドメインにわたる支援タスクにおいて有望な可能性を示しています。
これらのエージェントは個人情報やデバイスの設定と直接やり取りするため、望ましくない結果を防ぐためには、エージェントの安全で信頼できる動作を確保することが重要です。
しかし、モバイル デバイス制御エージェントの安全性を標準化して評価するためのベンチマークは存在しません。
この作業では、Android エミュレータに基づいた現実的なモバイル環境内でデバイス制御エージェントの安全性を評価するために設計されたベンチマークである MobileSafetyBench を紹介します。
私たちは、メッセージング アプリケーションやバンキング アプリケーションを含むさまざまなモバイル アプリケーションとのやり取りを含む多様なタスクを開発し、誤用やマイナスの副作用を含むリスク管理をエージェントに課します。
これらのタスクには、日常のシナリオにおけるエージェントの安全性と、間接的なプロンプト インジェクション攻撃に対するエージェントの堅牢性を評価するテストが含まれます。
私たちの実験では、最先端の LLM に基づいたベースライン エージェントは、タスクの実行中に危害を効果的に防止できないことが多いことを示しています。
これらの安全性の懸念を軽減するために、エージェントが安全性を考慮することを優先するよう促す方法を提案します。
この方法はより安全な行動を促す上で有望ですが、ユーザーの信頼を完全に得るにはまだ改善の余地がかなりあります。
これは、モバイル環境におけるより堅牢な安全メカニズムを開発するための継続的な研究が緊急に必要であることを浮き彫りにしています。
私たちはベンチマークを https://mobilesafetybench.github.io/ でオープンソース化しています。

要約(オリジナル)

Autonomous agents powered by large language models (LLMs) show promising potential in assistive tasks across various domains, including mobile device control. As these agents interact directly with personal information and device settings, ensuring their safe and reliable behavior is crucial to prevent undesirable outcomes. However, no benchmark exists for standardized evaluation of the safety of mobile device-control agents. In this work, we introduce MobileSafetyBench, a benchmark designed to evaluate the safety of device-control agents within a realistic mobile environment based on Android emulators. We develop a diverse set of tasks involving interactions with various mobile applications, including messaging and banking applications, challenging agents with managing risks encompassing misuse and negative side effects. These tasks include tests to evaluate the safety of agents in daily scenarios as well as their robustness against indirect prompt injection attacks. Our experiments demonstrate that baseline agents, based on state-of-the-art LLMs, often fail to effectively prevent harm while performing the tasks. To mitigate these safety concerns, we propose a prompting method that encourages agents to prioritize safety considerations. While this method shows promise in promoting safer behaviors, there is still considerable room for improvement to fully earn user trust. This highlights the urgent need for continued research to develop more robust safety mechanisms in mobile environments. We open-source our benchmark at: https://mobilesafetybench.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google