Understanding Adversarial Attacks on Observations in Deep Reinforcement Learning

要約

深層強化学習モデルは、被害者の観察を操作することによって、被害者の累積期待報酬を減少させることができる敵対的攻撃に対して脆弱です。
教師あり学習で敵対的ノイズを生成するための以前の最適化ベースの方法の効率にもかかわらず、そのような方法は一般に環境ダイナミクスを調査しないため、最低の累積報酬を達成できない可能性があります。
この論文では、関数空間での強化学習に対する敵対的攻撃の問題を再定式化することにより、既存の方法をよりよく理解するためのフレームワークを提供します。
私たちの再定式化は、標的型攻撃の機能空間で最適な敵を生成し、一般的な 2 段階のフレームワークを介してそれらを撃退します。
最初の段階では、環境をハッキングして不正なポリシーをトレーニングし、最低の報酬または最悪の場合のパフォーマンスにルーティングする一連の軌跡を発見します。
次に、敵対者は、観察結果を乱すことによって、被害者を誤解させ、欺瞞的なポリシーを模倣させます。
既存のアプローチと比較して、適切なノイズレベルの下で敵がより強いことを理論的に示しています。
広範な実験により、効率と有効性の点でこの方法の優位性が実証され、Atari 環境と MuJoCo 環境の両方で最先端のパフォーマンスが達成されました。

要約(オリジナル)

Deep reinforcement learning models are vulnerable to adversarial attacks that can decrease a victim’s cumulative expected reward by manipulating the victim’s observations. Despite the efficiency of previous optimization-based methods for generating adversarial noise in supervised learning, such methods might not be able to achieve the lowest cumulative reward since they do not explore the environmental dynamics in general. In this paper, we provide a framework to better understand the existing methods by reformulating the problem of adversarial attacks on reinforcement learning in the function space. Our reformulation generates an optimal adversary in the function space of the targeted attacks, repelling them via a generic two-stage framework. In the first stage, we train a deceptive policy by hacking the environment, and discover a set of trajectories routing to the lowest reward or the worst-case performance. Next, the adversary misleads the victim to imitate the deceptive policy by perturbing the observations. Compared to existing approaches, we theoretically show that our adversary is stronger under an appropriate noise level. Extensive experiments demonstrate our method’s superiority in terms of efficiency and effectiveness, achieving the state-of-the-art performance in both Atari and MuJoCo environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google