Data-Driven Distributed Common Operational Picture from Heterogeneous Platforms using Multi-Agent Reinforcement Learning

要約

高度なセンサーを備えた無人プラットフォームの統合により、状況認識が強化され、軍事作戦における「戦争の霧」が軽減されることが期待されます。
ただし、これらのプラットフォームから流入する膨大なデータを管理することは、指揮統制 (C2) システムにとって大きな課題となります。
この研究は、この課題に対処するための新しいマルチエージェント学習フレームワークを提示します。
私たちの方法は、エージェントと人間の間の自律的かつ安全な通信を可能にし、それによって解釈可能な共通運用画像 (COP) のリアルタイムの形成を可能にします。
各エージェントは自身の認識と行動をコンパクトなベクトルにエンコードし、送信、受信、デコードして、戦場のすべてのエージェント (味方と敵) の現在の状態を含む COP を形成します。
深層強化学習 (DRL) を使用して、COP モデルとエージェントのアクション選択ポリシーを共同でトレーニングします。
GPS の拒否や通信の中断などの悪化した状況に対する回復力を実証します。
実験的検証は Starcraft-2 シミュレーション環境で実行され、COP の精度とポリシーの堅牢性が評価されます。
私たちは、さまざまな敵対的状況に強い COP および政策における誤差が 5% 未満であると報告しています。
要約すると、私たちの貢献には、自律的な COP 形成の方法、分散型予測による回復力の向上、COP モデルとマルチエージェント RL ポリシーの共同トレーニングが含まれます。
この研究は、適応性と復元力のある C2 を進歩させ、異種の無人プラットフォームの効果的な制御を促進します。

要約(オリジナル)

The integration of unmanned platforms equipped with advanced sensors promises to enhance situational awareness and mitigate the ‘fog of war’ in military operations. However, managing the vast influx of data from these platforms poses a significant challenge for Command and Control (C2) systems. This study presents a novel multi-agent learning framework to address this challenge. Our method enables autonomous and secure communication between agents and humans, which in turn enables real-time formation of an interpretable Common Operational Picture (COP). Each agent encodes its perceptions and actions into compact vectors, which are then transmitted, received and decoded to form a COP encompassing the current state of all agents (friendly and enemy) on the battlefield. Using Deep Reinforcement Learning (DRL), we jointly train COP models and agent’s action selection policies. We demonstrate resilience to degraded conditions such as denied GPS and disrupted communications. Experimental validation is performed in the Starcraft-2 simulation environment to evaluate the precision of the COPs and robustness of policies. We report less than 5% error in COPs and policies resilient to various adversarial conditions. In summary, our contributions include a method for autonomous COP formation, increased resilience through distributed prediction, and joint training of COP models and multi-agent RL policies. This research advances adaptive and resilient C2, facilitating effective control of heterogeneous unmanned platforms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google