Robust Deep Reinforcement Learning Through Adversarial Attacks and Training : A Survey

要約

深層強化学習 (DRL) は、複雑な環境全体で順次アクションを実行する自律エージェントをトレーニングするための機械学習のサブフィールドです。
よく知られている環境で優れたパフォーマンスを発揮するにもかかわらず、依然としてわずかな条件変動の影響を受けやすいため、実際のアプリケーションにおける信頼性について懸念が生じています。
ユーザビリティを向上させるために、DRL は信頼性と堅牢性を実証する必要があります。
環境条件の未知の変化や起こり得る摂動に対する DRL の堅牢性を向上させる方法は、環境の観察とダイナミクスに対する適切な敵対的攻撃に対してエージェントをトレーニングする敵対的トレーニングを通じて行われます。
この重大な問題に対処するために、私たちの研究では、現代の敵対的攻撃と訓練方法論の詳細な分析を提示し、体系的に分類し、その目的と運用メカニズムを比較しています。

要約(オリジナル)

Deep Reinforcement Learning (DRL) is a subfield of machine learning for training autonomous agents that take sequential actions across complex environments. Despite its significant performance in well-known environments, it remains susceptible to minor condition variations, raising concerns about its reliability in real-world applications. To improve usability, DRL must demonstrate trustworthiness and robustness. A way to improve the robustness of DRL to unknown changes in the environmental conditions and possible perturbations is through Adversarial Training, by training the agent against well-suited adversarial attacks on the observations and the dynamics of the environment. Addressing this critical issue, our work presents an in-depth analysis of contemporary adversarial attack and training methodologies, systematically categorizing them and comparing their objectives and operational mechanisms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google