Position Paper: Rethinking Privacy in RL for Sequential Decision-making in the Age of LLMs

要約

重要な現実世界のアプリケーションにおける強化学習（RL）の台頭は、AIシステムのプライバシーの基本的な再考を要求します。
孤立したデータポイントを保護するように設計された従来のプライバシーフレームワークは、機密情報が時間的パターン、行動戦略、および共同ダイナミクスから生じる順次の意思決定システムに不足しています。
大規模な言語モデル（LLM）のヒトフィードバック（RLHF）を備えたフェデレーションRL（FEDRL）やRLなどの最新のRLパラダイムは、従来の方法が対処しない複雑でインタラクティブな、およびコンテキスト依存性の学習環境を導入することにより、これらの課題を悪化させます。
このポジションペーパーでは、マルチスケール保護、行動パターン保護、共同プライバシー保存、コンテキスト認識の適応という4つのコア原則に基づいて構築された新しいプライバシーパラダイムを主張します。
これらの原則は、Healthcare、自律車両、LLMSを搭載した意思決定支援システムなどのハイステークドメインでRLシステムがより広範になるにつれてナビゲートする必要があるプライバシー、ユーティリティ、および解釈可能性の間に固有の緊張を暴露します。
これらの課題に取り組むために、シーケンシャル意思決定システムで効果的なプライバシー保護を集合的に可能にする新しい理論的フレームワーク、実用的なメカニズム、および厳密な評価方法論の開発を求めます。

要約(オリジナル)

The rise of reinforcement learning (RL) in critical real-world applications demands a fundamental rethinking of privacy in AI systems. Traditional privacy frameworks, designed to protect isolated data points, fall short for sequential decision-making systems where sensitive information emerges from temporal patterns, behavioral strategies, and collaborative dynamics. Modern RL paradigms, such as federated RL (FedRL) and RL with human feedback (RLHF) in large language models (LLMs), exacerbate these challenges by introducing complex, interactive, and context-dependent learning environments that traditional methods do not address. In this position paper, we argue for a new privacy paradigm built on four core principles: multi-scale protection, behavioral pattern protection, collaborative privacy preservation, and context-aware adaptation. These principles expose inherent tensions between privacy, utility, and interpretability that must be navigated as RL systems become more pervasive in high-stakes domains like healthcare, autonomous vehicles, and decision support systems powered by LLMs. To tackle these challenges, we call for the development of new theoretical frameworks, practical mechanisms, and rigorous evaluation methodologies that collectively enable effective privacy protection in sequential decision-making systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google