ReRoGCRL: Representation-based Robustness in Goal-Conditioned Reinforcement Learning

要約

目標条件付き強化学習 (GCRL) は注目を集めていますが、敵対的な摂動に対するそのアルゴリズムの堅牢性はまだ解明されていません。
従来の RL 用に設計された攻撃と堅牢な表現トレーニング方法は、GCRL に適用すると効果が低くなります。
この課題に対処するために、私たちはまず、敵対的対比攻撃にヒントを得た新しいアプローチである半対比表現攻撃を提案します。
RL における既存の攻撃とは異なり、必要なのはポリシー機能からの情報のみであり、展開中にシームレスに実装できます。
次に、既存の GCRL アルゴリズムの脆弱性を軽減するために、敵対的表現戦術を導入します。これは、半対照的な敵対的拡張と感度を考慮した正則化を組み合わせて、さまざまな種類の摂動に対する基礎となる RL エージェントの敵対的堅牢性を向上させます。
広範な実験により、複数の最先端の GCRL アルゴリズムにわたる攻撃および防御方法の優れたパフォーマンスが検証されています。
私たちのツール ReRoGCRL は https://github.com/TrustAI/ReRoGCRL で入手できます。

要約(オリジナル)

While Goal-Conditioned Reinforcement Learning (GCRL) has gained attention, its algorithmic robustness against adversarial perturbations remains unexplored. The attacks and robust representation training methods that are designed for traditional RL become less effective when applied to GCRL. To address this challenge, we first propose the Semi-Contrastive Representation attack, a novel approach inspired by the adversarial contrastive attack. Unlike existing attacks in RL, it only necessitates information from the policy function and can be seamlessly implemented during deployment. Then, to mitigate the vulnerability of existing GCRL algorithms, we introduce Adversarial Representation Tactics, which combines Semi-Contrastive Adversarial Augmentation with Sensitivity-Aware Regularizer to improve the adversarial robustness of the underlying RL agent against various types of perturbations. Extensive experiments validate the superior performance of our attack and defence methods across multiple state-of-the-art GCRL algorithms. Our tool ReRoGCRL is available at https://github.com/TrustAI/ReRoGCRL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google