Bridging the Gap between Discrete Agent Strategies in Game Theory and Continuous Motion Planning in Dynamic Environments

要約

敵対的な環境で競争戦略を生成し、継続的な動作計画を同時に実行することは、困難な問題です。
さらに、敵対的なマルチエージェント環境に自律システムを展開するには、他のエージェントの意図を理解することが重要です。
既存のアプローチは、同様の制御入力をグループ化することでエージェントの動作を離散化し、動作計画のパフォーマンスを犠牲にするか、解釈できない潜在空間で計画を立てて、理解しにくいエージェントの動作を生成します。
この論文は、エージェント ポリシーを事前に指定された低次元空間にマッピングするポリシー特性空間を介したエージェント戦略表現を提案します。
ポリシー特性スペースにより、制御の連続性を維持しながら、エージェント ポリシーの切り替えを離散化できます。
また、エージェント ポリシーの解釈可能性とポリシー切り替えの明確な意図も提供します。
次に、リグレスベースのゲーム理論的アプローチをポリシー特性空間に適用して、敵対的な環境で高いパフォーマンスを得ることができます。
提案した手法は、スケール調整された車両を使用した自動レースシナリオで実験を行うことによって評価されます。
統計的証拠は、私たちの方法がエゴエージェントの勝率を大幅に向上させ、この方法が目に見えない環境にも十分に一般化できることを示しています。

要約(オリジナル)

Generating competitive strategies and performing continuous motion planning simultaneously in an adversarial setting is a challenging problem. In addition, understanding the intent of other agents is crucial to deploying autonomous systems in adversarial multi-agent environments. Existing approaches either discretize agent action by grouping similar control inputs, sacrificing performance in motion planning, or plan in uninterpretable latent spaces, producing hard-to-understand agent behaviors. This paper proposes an agent strategy representation via Policy Characteristic Space that maps the agent policies to a pre-specified low-dimensional space. Policy Characteristic Space enables the discretization of agent policy switchings while preserving continuity in control. Also, it provides intepretability of agent policies and clear intentions of policy switchings. Then, regret-based game-theoretic approaches can be applied in the Policy Characteristic Space to obtain high performance in adversarial environments. Our proposed method is assessed by conducting experiments in an autonomous racing scenario using scaled vehicles. Statistical evidence shows that our method significantly improves the win rate of ego agent and the method also generalizes well to unseen environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google