Robust Offline Reinforcement Learning — Certify the Confidence Interval

要約

現在、強化学習 (RL)、特にディープ RL が研究分野でますます注目を集めています。
しかし、攻撃手法の成熟化により、RL のセキュリティが明らかに問題となってきました。
このような敵対的攻撃から防御するために、敵対的トレーニング、データ フィルタリングなどのいくつかの実用的なアプローチが開発されています。しかし、これらの方法はほとんどが経験的なアルゴリズムと実験に基づいており、アルゴリズムの堅牢性に関する厳密な理論的分析は行われていません。
この論文では、ランダム平滑化を使用してオフラインで特定のポリシーの堅牢性を証明するアルゴリズムを開発します。これは、ランダム平滑化を使用しないポリシーと同じくらい効率的に証明および実行できます。
さまざまな環境での実験により、アルゴリズムの正確性が確認されています。

要約(オリジナル)

Currently, reinforcement learning (RL), especially deep RL, has received more and more attention in the research area. However, the security of RL has been an obvious problem due to the attack manners becoming mature. In order to defend against such adversarial attacks, several practical approaches are developed, such as adversarial training, data filtering, etc. However, these methods are mostly based on empirical algorithms and experiments, without rigorous theoretical analysis of the robustness of the algorithms. In this paper, we develop an algorithm to certify the robustness of a given policy offline with random smoothing, which could be proven and conducted as efficiently as ones without random smoothing. Experiments on different environments confirm the correctness of our algorithm.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google