Towards Robust Deep Reinforcement Learning against Environmental State Perturbation

要約

ディープ補強学習（DRL）における敵対的な攻撃と堅牢性は、さまざまな脅威モデルで広く研究されています。
ただし、具体化されたシナリオでは自然な環境状態の摂動を考慮する人はほとんどいません。
DRLエージェントの堅牢性を向上させるために、環境状態の摂動の問題を策定し、キャリブレーション敵として予備的な非ターゲット攻撃方法を導入し、次にブーストされた敵対的訓練（BAT）と名付けられた防衛フレームワークを提案します。
広範な実験結果は、環境状態の摂動に基づく主流のエージェントの脆弱性と、提案された攻撃の有効性を実証します。
防衛結果は、既存の堅牢な強化学習アルゴリズムが適切ではないかもしれないが、私たちのバットフレームワークは、さまざまな状況で環境状態の摂動に対するエージェントの堅牢性を大幅に高めることができることを示しています。

要約(オリジナル)

Adversarial attacks and robustness in Deep Reinforcement Learning (DRL) have been widely studied in various threat models; however, few consider environmental state perturbations, which are natural in embodied scenarios. To improve the robustness of DRL agents, we formulate the problem of environmental state perturbation, introducing a preliminary non-targeted attack method as a calibration adversary, and then propose a defense framework, named Boosted Adversarial Training (BAT), which first tunes the agents via supervised learning to avoid catastrophic failure and subsequently adversarially trains the agent with reinforcement learning. Extensive experimental results substantiate the vulnerability of mainstream agents under environmental state perturbations and the effectiveness of our proposed attack. The defense results demonstrate that while existing robust reinforcement learning algorithms may not be suitable, our BAT framework can significantly enhance the robustness of agents against environmental state perturbations across various situations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google