Learning Models of Adversarial Agent Behavior under Partial Observability

要約

対戦相手のモデリングと追跡の必要性は、プロ スポーツ、ビデオ ゲームのデザイン、麻薬密売の阻止など、いくつかの現実世界のシナリオで発生します。
この研究では、敵対的な対戦相手エージェントの動作をモデル化するための、相互情報を使用したグラフベースの敵対的モデリング (GraMMI) を紹介します。
GrAMMI は、相互情報量の最大化を補助目的として使用し、部分的な可観測性で敵対者の現在および将来の状態を予測する新しいグラフ ニューラル ネットワーク (GNN) ベースのアプローチです。
GraMMI を評価するために、現実世界のシナリオに触発された 2 つの大規模な追跡回避ドメインを設計しました。そこでは、異種エージェントのチームが単一の敵対的エージェントを追跡して阻止する任務を負い、敵対的エージェントは独自の目的を達成しながら検出を回避する必要があります。
目標。
相互情報量定式化により、GrAMMI は両方のドメインのすべてのベースラインを上回り、両方のドメインにわたる将来の敵対状態の予測について平均 31.68% 高い対数尤度を達成します。

要約(オリジナル)

The need for opponent modeling and tracking arises in several real-world scenarios, such as professional sports, video game design, and drug-trafficking interdiction. In this work, we present Graph based Adversarial Modeling with Mutal Information (GrAMMI) for modeling the behavior of an adversarial opponent agent. GrAMMI is a novel graph neural network (GNN) based approach that uses mutual information maximization as an auxiliary objective to predict the current and future states of an adversarial opponent with partial observability. To evaluate GrAMMI, we design two large-scale, pursuit-evasion domains inspired by real-world scenarios, where a team of heterogeneous agents is tasked with tracking and interdicting a single adversarial agent, and the adversarial agent must evade detection while achieving its own objectives. With the mutual information formulation, GrAMMI outperforms all baselines in both domains and achieves 31.68% higher log-likelihood on average for future adversarial state predictions across both domains.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google