Ctrl-Z: Controlling AI Agents via Resampling

要約

制御評価AIシステムの監視とセキュリティプロトコルが意図的に破壊的なAIモデルが害を引き起こすのを防ぐかどうかを測定します。
私たちの作品は、エージェント環境で実行された最初の制御評価を提示します。
257の挑戦的なマルチステップシステム管理タスクのデータセットであるBashbenchを構築し、さまざまな安全対策が敵対的に構築されたAIエージェントがこの環境で悪意のあるコードをひそかにダウンロードして実行することを防ぐことができるかどうかを評価します。
このマルチステップ設定では、新しい攻撃と防御のダイナミクスが導入されます。これは、非マリシャスエージェントが有用な作業を実行する能力を妨げることなく、安全障害を防ぐ新しい制御プロトコルを設計するために調査します。
特定のアクションの追加のサンプルを動的に採用するResampleプロトコルと呼ばれる制御プロトコルのクラスを導入します。
これらのプロトコルは、AIエージェントが疑わしいコードの実行を選択的にブロックし、危険な動作の追加の例を生成することでエージェントを罪にすることにより、既存の手法を大幅に改善することがわかります。
攻撃防止と有用性の間のトレードオフを測定します。
当社の最良のプロトコルは、リサンプリングと以前のステップの分析を組み合わせて、58％から7％のコストで攻撃の成功率を、非悪意のあるエージェントのパフォーマンスに低下させます。

要約(オリジナル)

Control evaluations measure whether monitoring and security protocols for AI systems prevent intentionally subversive AI models from causing harm. Our work presents the first control evaluation performed in an agent environment. We construct BashBench, a dataset of 257 challenging multi-step system administration tasks, and evaluate whether various safety measures can prevent an adversarially constructed AI agent from covertly downloading and executing malicious code in this environment. This multi-step setting introduces new attack and defense dynamics, which we investigate in order to design novel control protocols that prevent safety failures without hindering the ability of non-malicious agents to perform useful work. We introduce a class of control protocols called resample protocols that dynamically take additional samples of certain actions. We find these protocols significantly improve on existing techniques by selectively blocking the AI agent from executing suspicious code and incriminating the agent by generating additional examples of dangerous behavior. We measure the tradeoff between attack prevention and usefulness; our best protocol combines resampling with analysis of previous steps, reducing the success rate of attacks from 58% to 7% at a 5% cost to the performance of a non-malicious agent.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google