Recursive Deep Inverse Reinforcement Learning

要約

展示された行動からの敵の目標を推測することは、サイバーセキュリティ、軍事、戦略ゲームなどのドメインにおけるカウンター計画および非協力的なマルチエージェントシステムに不可欠です。
最大のエントロピー原則に基づく深い逆補強学習（IRL）方法は、敵の目標を回復することで有望ですが、通常はオフラインであり、グラデーション降下を備えた大きなバッチサイズを必要とし、1次の更新に依存し、リアルタイムシナリオの適用性を制限します。
敵対的な行動と目標を管理するコスト関数を回復するために、オンライン再帰的な深部補強学習（RDIRL）アプローチを提案します。
具体的には、拡張されたカルマンフィルター（EKF）に似たシーケンシャルの2次ニュートンアップデートを使用して、標準ガイドコスト学習（GCL）目的の上限を最小限に抑え、高速（収束の観点から）学習アルゴリズムにつながります。
Rdirlは、標準的および敵対的なベンチマークタスクにおける専門家のエージェントのコストおよび報酬機能を回収できることを実証します。
ベンチマークタスクの実験は、提案されたアプローチがいくつかの主要なIRLアルゴリズムを上回ることを示しています。

要約(オリジナル)

Inferring an adversary’s goals from exhibited behavior is crucial for counterplanning and non-cooperative multi-agent systems in domains like cybersecurity, military, and strategy games. Deep Inverse Reinforcement Learning (IRL) methods based on maximum entropy principles show promise in recovering adversaries’ goals but are typically offline, require large batch sizes with gradient descent, and rely on first-order updates, limiting their applicability in real-time scenarios. We propose an online Recursive Deep Inverse Reinforcement Learning (RDIRL) approach to recover the cost function governing the adversary actions and goals. Specifically, we minimize an upper bound on the standard Guided Cost Learning (GCL) objective using sequential second-order Newton updates, akin to the Extended Kalman Filter (EKF), leading to a fast (in terms of convergence) learning algorithm. We demonstrate that RDIRL is able to recover cost and reward functions of expert agents in standard and adversarial benchmark tasks. Experiments on benchmark tasks show that our proposed approach outperforms several leading IRL algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google