Policy Resilience to Environment Poisoning Attacks on Reinforcement Learning

要約

【タイトル】強化学習における環境攻撃に対するポリシー耐性

【要約】

– この論文は、強化学習（RL）ポリシーに対するトレーニング環境攻撃に対するポリシー耐性を調査し、毒入りRLポリシーの展開パフォーマンスを回復することを目的としている。
– ポリシーの耐性はRLアルゴリズムに追加されることがあるため、RLアルゴリズムのパフォーマンスを犠牲にしないように、リソース効率的で時間節約的、広く応用可能である必要がある。
– この論文では、知識共有のアイデアに基づいたポリシー耐性メカニズムを提案する。ポリシーの耐性を3つの段階（準備、診断、回復）としてまとめ、環境知識の効率的な抽出と共有を追求するフェデレーテッドアーキテクチャを導入する。
– 共有された知識を用いることで、毒入りエージェントは展開条件を迅速に特定し、ポリシーパフォーマンスを回復することができる。
– モデルベースとモデルフリーRLアルゴリズムの両方について、耐性メカニズムの効果と効率を示す実験的評価を行うことで、毒入りポリシーの展開パフォーマンスを回復することができることを示す。

要約(オリジナル)

This paper investigates policy resilience to training-environment poisoning attacks on reinforcement learning (RL) policies, with the goal of recovering the deployment performance of a poisoned RL policy. Due to the fact that the policy resilience is an add-on concern to RL algorithms, it should be resource-efficient, time-conserving, and widely applicable without compromising the performance of RL algorithms. This paper proposes such a policy-resilience mechanism based on an idea of knowledge sharing. We summarize the policy resilience as three stages: preparation, diagnosis, recovery. Specifically, we design the mechanism as a federated architecture coupled with a meta-learning manner, pursuing an efficient extraction and sharing of the environment knowledge. With the shared knowledge, a poisoned agent can quickly identify the deployment condition and accordingly recover its policy performance. We empirically evaluate the resilience mechanism for both model-based and model-free RL algorithms, showing its effectiveness and efficiency in restoring the deployment performance of a poisoned policy.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI