ReRoGCRL: Representation-based Robustness in Goal-Conditioned Reinforcement Learning

要約

目標条件付き強化学習 (GCRL) は注目を集めていますが、特に敵対的な摂動に対するそのアルゴリズムの堅牢性は未解明のままです。
残念ながら、従来の RL 向けに特別に設計された攻撃と堅牢な表現トレーニング方法は、GCRL に適用するとあまり効果的ではありません。
この課題に対処するために、私たちは、敵対的対照攻撃にヒントを得た新しいアプローチである \textit{Semi-Contrastive Representation} 攻撃を提案します。
RL における既存の攻撃とは異なり、必要なのはポリシー機能からの情報のみであり、展開中にシームレスに実装できます。
さらに、既存の GCRL アルゴリズムの脆弱性を軽減するために、\textit{敵対的表現戦術} を導入します。
この戦略は、\textit{Semi-Contrastive Adversarial Augmentation} と \textit{Sensitivity-Aware Regularizer} を組み合わせたものです。
これにより、さまざまな種類の摂動に対する基礎となるエージェントの敵対的な堅牢性が向上します。
広範な実験により、複数の最先端の GCRL アルゴリズムにわたる攻撃および防御メカニズムの優れたパフォーマンスが検証されています。
私たちのツール {\bf ReRoGCRL} は \url{https://github.com/TrustAI/ReRoGCRL} で入手できます。

要約(オリジナル)

While Goal-Conditioned Reinforcement Learning (GCRL) has gained attention, its algorithmic robustness, particularly against adversarial perturbations, remains unexplored. Unfortunately, the attacks and robust representation training methods specifically designed for traditional RL are not so effective when applied to GCRL. To address this challenge, we propose the \textit{Semi-Contrastive Representation} attack, a novel approach inspired by the adversarial contrastive attack. Unlike existing attacks in RL, it only necessitates information from the policy function and can be seamlessly implemented during deployment. Furthermore, to mitigate the vulnerability of existing GCRL algorithms, we introduce \textit{Adversarial Representation Tactics}. This strategy combines \textit{Semi-Contrastive Adversarial Augmentation} with \textit{Sensitivity-Aware Regularizer}. It improves the adversarial robustness of the underlying agent against various types of perturbations. Extensive experiments validate the superior performance of our attack and defence mechanism across multiple state-of-the-art GCRL algorithms. Our tool {\bf ReRoGCRL} is available at \url{https://github.com/TrustAI/ReRoGCRL}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google