Local Environment Poisoning Attacks on Federated Reinforcement Learning

要約

タイトル：フェデレーテッド強化学習におけるローカル環境毒攻撃

要約：
– フェデレーテッド学習（FL）は、従来の強化学習タスクを解決するための人気のあるツールになっています。
– マルチエージェント構造は、従来の強化学習におけるデータ飢餓の大きな問題を解決していますが、フェデレーテッドメカニズムは個々のエージェントのデータプライバシーを保護するためにも必要です。
– しかし、フェデレーテッドメカニズムは悪意のあるエージェントによる毒攻撃にもさらされてしまい、訓練したポリシーを誤導する可能性があります。
– 本研究では、フェデレーテッド強化学習（FRL）における毒攻撃を最適化問題として特徴化する最初の一般的なフレームワークを提案し、限られた予算に制約された最適化問題として設計された毒攻撃プロトコルを提案します。
– ポリシーベースのFRLに適用できる毒攻撃プロトコルと、プライベートとパブリックな評価値のペアをトレーニングすることでアクター・クリティックを含むFRLに拡張することもできます。
– また、FLから受け継がれた通常の防御戦略についても検討します。さらに、広範囲な難易度レベルをカバーするRL OpenAI Gym環境を対象にした包括的な実験を実施し、主流のRLアルゴリズムをターゲットにした毒攻撃の効果を検証します。
– 結果として、提案された防御プロトコルは、多くの場合成功していますが、複雑な環境下では堅牢性に欠けることが明らかになりました。
– この研究は、FLの強化学習トレーニングにおける脆弱性についての新しい洞察を提供し、堅牢なFRLアルゴリズムの設計における追加の課題を提起します。

要約(オリジナル)

Federated learning (FL) has become a popular tool for solving traditional Reinforcement Learning (RL) tasks. The multi-agent structure addresses the major concern of data-hungry in traditional RL, while the federated mechanism protects the data privacy of individual agents. However, the federated mechanism also exposes the system to poisoning by malicious agents that can mislead the trained policy. Despite the advantage brought by FL, the vulnerability of Federated Reinforcement Learning (FRL) has not been well-studied before. In this work, we propose the first general framework to characterize FRL poisoning as an optimization problem constrained by a limited budget and design a poisoning protocol that can be applied to policy-based FRL and extended to FRL with actor-critic as a local RL algorithm by training a pair of private and public critics. We also discuss a conventional defense strategy inherited from FL to mitigate this risk. We verify our poisoning effectiveness by conducting extensive experiments targeting mainstream RL algorithms and over various RL OpenAI Gym environments covering a wide range of difficulty levels. Our results show that our proposed defense protocol is successful in most cases but is not robust under complicated environments. Our work provides new insights into the vulnerability of FL in RL training and poses additional challenges for designing robust FRL algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI