要約
ChatGPT プラグインなどのアプリケーションに代表される、言語モデル (LM) エージェントとツールの使用における最近の進歩により、豊富な機能セットが可能になりますが、個人データの漏洩や経済的損失の発生など、潜在的なリスクも増幅されます。
これらのリスクを特定するには多大な労力がかかり、ツールを導入し、各テスト シナリオの環境を手動で設定し、危険なケースを見つける必要があります。
ツールやエージェントがより複雑になるにつれて、これらのエージェントのテストにかかるコストが高くなり、一か八かの長期にわたるリスクを発見することがますます困難になります。
これらの課題に対処するために、ToolEmu を導入します。これは、LM を使用してツールの実行をエミュレートし、手動でインスタンス化することなく、さまざまなツールやシナリオに対して LM エージェントのテストを可能にするフレームワークです。
エミュレータと並行して、エージェントの障害を検査し、関連するリスクを定量化する LM ベースの自動安全性評価装置を開発します。
人間による評価を通じてツール エミュレータと評価器の両方をテストしたところ、ToolEmu で特定された障害の 68.8% が実際のエージェントの有効な障害であることがわかりました。
36 のハイステークス ツールと 144 のテスト ケースで構成される厳選された初期ベンチマークを使用して、現在の LM エージェントの定量的リスク分析を提供し、重大な結果をもたらす可能性のある多数の障害を特定します。
特に、当社の評価者によると、最も安全な LM エージェントでも 23.9% の確率でそのような障害が発生しており、実際の展開向けに、より安全な LM エージェントを開発する必要性が強調されています。
要約(オリジナル)
Recent advances in Language Model (LM) agents and tool use, exemplified by applications like ChatGPT Plugins, enable a rich set of capabilities but also amplify potential risks – such as leaking private data or causing financial losses. Identifying these risks is labor-intensive, necessitating implementing the tools, setting up the environment for each test scenario manually, and finding risky cases. As tools and agents become more complex, the high cost of testing these agents will make it increasingly difficult to find high-stakes, long-tailed risks. To address these challenges, we introduce ToolEmu: a framework that uses an LM to emulate tool execution and enables the testing of LM agents against a diverse range of tools and scenarios, without manual instantiation. Alongside the emulator, we develop an LM-based automatic safety evaluator that examines agent failures and quantifies associated risks. We test both the tool emulator and evaluator through human evaluation and find that 68.8% of failures identified with ToolEmu would be valid real-world agent failures. Using our curated initial benchmark consisting of 36 high-stakes tools and 144 test cases, we provide a quantitative risk analysis of current LM agents and identify numerous failures with potentially severe outcomes. Notably, even the safest LM agent exhibits such failures 23.9% of the time according to our evaluator, underscoring the need to develop safer LM agents for real-world deployment.
arxiv情報
| 著者 | Yangjun Ruan,Honghua Dong,Andrew Wang,Silviu Pitis,Yongchao Zhou,Jimmy Ba,Yann Dubois,Chris J. Maddison,Tatsunori Hashimoto |
| 発行日 | 2024-05-17 17:17:45+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google