Hierarchical Multi-Agent Reinforcement Learning for Air Combat Maneuvering

要約

空対空戦闘シナリオをシミュレートするための人工知能の応用がますます注目を集めています。
高次元の状態空間と行動空間の最新情報、高度に複雑な状況情報 (不完全でフィルタリングされた情報、確率性、ミッション目標に関する不完全な知識など)、および非線形飛行力学が、正確な空戦の意思決定に重大な課題をもたらしています。
これらの課題は、複数の異種エージェントが関与するとさらに悪化します。
我々は、複数の異種エージェントとの空対空戦闘のための階層型マルチエージェント強化学習フレームワークを提案します。
私たちのフレームワークでは、意思決定プロセスは 2 つの抽象化段階に分割されます。そこでは、異質な低レベルのポリシーが個々の部隊の行動を制御し、高レベルの指揮官ポリシーが全体的なミッション目標を考慮してマクロ コマンドを発行します。
低レベルのポリシーは、正確な部隊戦闘制御のために訓練されています。
彼らのトレーニングは、ますます複雑化するトレーニングシナリオとリーグベースのセルフプレイを含む学習カリキュラムで編成されています。
指揮官ポリシーは、事前にトレーニングされた低レベルのポリシーを与えられたミッション目標に基づいてトレーニングされます。
経験的な検証により、私たちの設計選択の利点が主張されます。

要約(オリジナル)

The application of artificial intelligence to simulate air-to-air combat scenarios is attracting increasing attention. To date the high-dimensional state and action spaces, the high complexity of situation information (such as imperfect and filtered information, stochasticity, incomplete knowledge about mission targets) and the nonlinear flight dynamics pose significant challenges for accurate air combat decision-making. These challenges are exacerbated when multiple heterogeneous agents are involved. We propose a hierarchical multi-agent reinforcement learning framework for air-to-air combat with multiple heterogeneous agents. In our framework, the decision-making process is divided into two stages of abstraction, where heterogeneous low-level policies control the action of individual units, and a high-level commander policy issues macro commands given the overall mission targets. Low-level policies are trained for accurate unit combat control. Their training is organized in a learning curriculum with increasingly complex training scenarios and league-based self-play. The commander policy is trained on mission targets given pre-trained low-level policies. The empirical validation advocates the advantages of our design choices.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google