SUB-PLAY: Adversarial Policies against Partially Observed Multi-Agent Reinforcement Learning Systems

要約

マルチエージェント強化学習 (MARL) の最近の進歩により、ドローンの群れ制御、ロボットアームによる共同操作、複数ターゲットの包囲など、広大な応用の可能性が開かれました。
ただし、MARL 導入中の潜在的なセキュリティ脅威には、さらに注意を払い、徹底的な調査を行う必要があります。
最近の研究では、攻撃者が被害者の脆弱性を急速に悪用し、特定のタスクを失敗させる敵対的なポリシーを生成できることが明らかになりました。
例えば、超人レベルの囲碁AIの勝率を20％程度に下げる。
既存の研究は、攻撃者が完全なグローバル状態の観察を持っていると仮定して、主に 2 プレイヤーの競争環境に焦点を当てています。
この研究では、マルチエージェントの競争環境における被害者の部分的な観察に限定されている場合でも、攻撃者が敵対的なポリシーを生成する能力を初めて明らかにしました。
具体的には、部分的な可観測性の影響を軽減するために複数のサブゲームを構築する概念を組み込んだ新しいブラックボックス攻撃 (SUB-PLAY) を提案し、攻撃者の悪用能力を向上させるためにサブポリシー間で遷移を共有することを提案します。
広範な評価により、3 つの典型的な部分可観測性制限の下での SUB-PLAY の有効性が実証されています。
視覚化の結果は、敵対的なポリシーが被害者のポリシー ネットワークの大幅に異なる活性化を誘発することを示しています。
さらに、敵対的なポリシーによってもたらされるセキュリティ脅威を軽減する方法を探ることを目的とした 3 つの潜在的な防御策を評価し、競争環境に MARL を導入するための建設的な推奨事項を提供します。

要約(オリジナル)

Recent advancements in multi-agent reinforcement learning (MARL) have opened up vast application prospects, such as swarm control of drones, collaborative manipulation by robotic arms, and multi-target encirclement. However, potential security threats during the MARL deployment need more attention and thorough investigation. Recent research reveals that attackers can rapidly exploit the victim’s vulnerabilities, generating adversarial policies that result in the failure of specific tasks. For instance, reducing the winning rate of a superhuman-level Go AI to around 20%. Existing studies predominantly focus on two-player competitive environments, assuming attackers possess complete global state observation. In this study, we unveil, for the first time, the capability of attackers to generate adversarial policies even when restricted to partial observations of the victims in multi-agent competitive environments. Specifically, we propose a novel black-box attack (SUB-PLAY) that incorporates the concept of constructing multiple subgames to mitigate the impact of partial observability and suggests sharing transitions among subpolicies to improve attackers’ exploitative ability. Extensive evaluations demonstrate the effectiveness of SUB-PLAY under three typical partial observability limitations. Visualization results indicate that adversarial policies induce significantly different activations of the victims’ policy networks. Furthermore, we evaluate three potential defenses aimed at exploring ways to mitigate security threats posed by adversarial policies, providing constructive recommendations for deploying MARL in competitive environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google