Operationalizing Contextual Integrity in Privacy-Conscious Assistants

要約

高度な AI アシスタントは、フロンティア LLM とツール アクセスを組み合わせて、ユーザーに代わって複雑なタスクを自律的に実行します。
このようなアシスタントの有用性は、電子メールや文書などのユーザー情報にアクセスできることで劇的に向上しますが、アシスタントがユーザーの監督なしに不適切な情報を第三者と共有するというプライバシー上の懸念が生じます。
情報共有アシスタントがプライバシーの期待に従って行動するように誘導するために、私たちは、プライバシーを特定のコンテキストにおける適切な情報の流れと同一視するフレームワークである $\textit{コンテキスト整合性}$ (CI) を運用することを提案します。
特に、アシスタントの情報共有アクションが CI に準拠するように導くための多くの戦略を設計および評価します。
私たちの評価は、合成データと人間による注釈で構成される新しいフォーム入力ベンチマークに基づいており、フロンティア LLM に CI ベースの推論の実行を促すことで強力な結果が得られることが明らかになりました。

要約(オリジナル)

Advanced AI assistants combine frontier LLMs and tool access to autonomously perform complex tasks on behalf of users. While the helpfulness of such assistants can increase dramatically with access to user information including emails and documents, this raises privacy concerns about assistants sharing inappropriate information with third parties without user supervision. To steer information-sharing assistants to behave in accordance with privacy expectations, we propose to operationalize $\textit{contextual integrity}$ (CI), a framework that equates privacy with the appropriate flow of information in a given context. In particular, we design and evaluate a number of strategies to steer assistants’ information-sharing actions to be CI compliant. Our evaluation is based on a novel form filling benchmark composed of synthetic data and human annotations, and it reveals that prompting frontier LLMs to perform CI-based reasoning yields strong results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google