Context is Key in Agent Security

要約

人間であろうとシステムであろうと、アクションの安全性を判断すると、アクションが行われるコンテキストを考慮に入れる必要があります。
ユーザーのメールボックスから電子メールを削除することは、電子メールのコンテンツ、ユーザーの目標、または利用可能なスペースに応じて適切である場合とそうでない場合があります。
これらの判断を行うシステム – 有害または不適切な行動に対してセキュリティを提供する – は、関連する各コンテキストの手動で作られたポリシーまたはユーザー確認に依存しています。
ジェネラリストエージェントのようなシステムの今後の展開により、これらのシステムのコンテキストと機能の規模に適応するためにセキュリティ設計を再考しなければならないと主張します。
最初のステップとして、このペーパーでは、エージェントのドメインのコンテキストセキュリティを調査し、ジャストインタイム、コンテキスト、および人間の検証可能なセキュリティポリシーを生成するためのフレームワークであるエージェント（コンセカ）のコンテキストセキュリティを提案します。

要約(オリジナル)

Judging the safety of an action, whether taken by a human or a system, must take into account the context in which the action takes place. Deleting an email from user’s mailbox may or may not be appropriate depending on email’s content, user’s goals, or even available space. Systems today that make these judgements — providing security against harmful or inappropriate actions — rely on manually-crafted policies or user confirmation for each relevant context. With the upcoming deployment of systems like generalist agents, we argue that we must rethink security designs to adapt to the scale of contexts and capabilities of these systems. As a first step, this paper explores contextual security in the domain of agents and proposes contextual security for agents (Conseca), a framework to generate just-in-time, contextual, and human-verifiable security policies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google