Rethinking Adversarial Policies: A Generalized Attack Formulation and Provable Defense in RL

要約

既存の研究のほとんどは、敵対的攻撃に対する強化学習エージェントの脆弱性を実証するために、被害者の状態/行動または根底にある遷移ダイナミクスに対する直接的な摂動に焦点を当てています。
ただし、このような直接操作は常に実現できるとは限りません。
この論文では、よく訓練された被害者エージェント $\nu$ が、\textit{敵対的ポリシー} で別のエージェント $\alpha$ を制御する攻撃者によって悪用されるマルチエージェント設定を検討します。
以前のモデルでは、攻撃者が $\alpha$ を部分的にしか制御できない可能性や、攻撃によって容易に検出可能な「異常な」動作が引き起こされる可能性が考慮されていません。
さらに、これらの敵対的な政策に対する効果的な防御策が不足している。
これらの制限に対処するために、攻撃者がエージェントを制御できる範囲をモデル化する柔軟性を備え、攻撃者が状態分布の変化を規制し、よりステルスな敵対的ポリシーを生成できるようにする、一般化された攻撃フレームワークを導入します。
さらに、時間スケールを分離した敵対的トレーニングを通じて、最も堅牢な被害者ポリシーへの多項式収束による、証明された効率的な防御を提供します。
これは、敵対的トレーニングが通常 \textit{経験的} 防御のみを提供する教師あり学習とは大きく対照的です。
Robosumo の競争実験を使用して、ベースラインと同じ勝率を維持する場合、一般化された攻撃の定式化により、よりステルスな敵対的ポリシーが得られることを示します。
さらに、当社の敵対的トレーニング アプローチは、安定した学習ダイナミクスと悪用されにくい被害者ポリシーをもたらします。

要約(オリジナル)

Most existing works focus on direct perturbations to the victim’s state/action or the underlying transition dynamics to demonstrate the vulnerability of reinforcement learning agents to adversarial attacks. However, such direct manipulations may not be always realizable. In this paper, we consider a multi-agent setting where a well-trained victim agent $\nu$ is exploited by an attacker controlling another agent $\alpha$ with an \textit{adversarial policy}. Previous models do not account for the possibility that the attacker may only have partial control over $\alpha$ or that the attack may produce easily detectable ‘abnormal’ behaviors. Furthermore, there is a lack of provably efficient defenses against these adversarial policies. To address these limitations, we introduce a generalized attack framework that has the flexibility to model to what extent the adversary is able to control the agent, and allows the attacker to regulate the state distribution shift and produce stealthier adversarial policies. Moreover, we offer a provably efficient defense with polynomial convergence to the most robust victim policy through adversarial training with timescale separation. This stands in sharp contrast to supervised learning, where adversarial training typically provides only \textit{empirical} defenses. Using the Robosumo competition experiments, we show that our generalized attack formulation results in much stealthier adversarial policies when maintaining the same winning rate as baselines. Additionally, our adversarial training approach yields stable learning dynamics and less exploitable victim policies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google