Pursuit-Evasion for Car-like Robots with Sensor Constraints

要約

私たちは、車のようなダイナミクスとセンシングの制限を備えた2人のプレーヤーの間で、部分的に観察可能な確率的ゼロサムゲームとして形式化することにより、追求標識ゲームを研究します。
センシングの制約によって引き起こされる部分的な観測可能性は特に困難です。
例として、エージェントが互いに視認性を持たない状況では、センサーカバレッジの履歴から情報を抽出して、対戦相手の潜在的な場所について推論する必要があります。
ただし、履歴情報を保持すると、状態空間のサイズが大幅に増加します。
このような部分的に観察可能な問題で遭遇する課題を軽減するために、履歴情報を信念状態にエンコードし、それを使用してエージェントアクションを生成する新しい学習ベースの方法を開発します。
実験を通じて、既存のマルチエージェントRLベースラインよりも学習戦略が改善され、追跡者のキャプチャレートに関して最大​​16％改善されることが示されています。
さらに、学習された信念状態は、既存のゲーム理論ソルバーを拡張するための強力な状態推定器であることを示す実験結果を提示し、既存の完全に観察可能なゲーム理論ソルバーが計算可能に実現可能である問題に対する方法の競争力を実証します。
最後に、屋内環境で$ \ textBf {2 m/s} $と同じくらい速く移動するF1tenthとJetracerプラットフォームの間のゲーム用の物理ロボットに関する学習ポリシーを展開し、それらを実際のロボットで実行できることを示します。

要約(オリジナル)

We study a pursuit-evasion game between two players with car-like dynamics and sensing limitations by formalizing it as a partially observable stochastic zero-sum game. The partial observability caused by the sensing constraints is particularly challenging. As an example, in a situation where the agents have no visibility of each other, they would need to extract information from their sensor coverage history to reason about potential locations of their opponents. However, keeping historical information greatly increases the size of the state space. To mitigate the challenges encountered with such partially observable problems, we develop a new learning-based method that encodes historical information to a belief state and uses it to generate agent actions. Through experiments we show that the learned strategies improve over existing multi-agent RL baselines by up to 16 % in terms of capture rate for the pursuer. Additionally, we present experimental results showing that learned belief states are strong state estimators for extending existing game theory solvers and demonstrate our method’s competitiveness for problems where existing fully observable game theory solvers are computationally feasible. Finally, we deploy the learned policies on physical robots for a game between the F1TENTH and JetRacer platforms moving as fast as $\textbf{2 m/s}$ in indoor environments, showing that they can be executed on real-robots.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google