Application of Deep Reinforcement Learning to UAV Swarming for Ground Surveillance

要約

この論文は、空中群れの最新技術を詳細に要約し、その管理のための古典的なアプローチと新しい強化学習ベースのアプローチの両方をカバーしています。
次に、マルチエージェント集中型群アーキテクチャに深層強化学習を統合したハイブリッド AI システムを提案します。
提案されたシステムは、セキュリティおよび法執行用途のために、特定のエリアの監視を実行し、地上目標を探索および追跡するように調整されています。
群れは、協力する UAV 間でさまざまな検索および追跡タスクを分散する役割を担う中央群れコントローラーによって管理されます。
各 UAV エージェントは、協調的なサブエージェントの集合によって制御されます。サブエージェントの動作は、群コントローラーによって提案されたさまざまなタスク タイプに合わせて調整された、さまざまな深層強化学習モデルを使用してトレーニングされています。
より具体的には、近接ポリシー最適化 (PPO) アルゴリズムを使用してエージェントの動作をトレーニングしました。
さらに、このアプリケーションの群れのパフォーマンスを評価するためのいくつかの指標が定義されました。
シミュレーションによって得られた結果は、私たちのシステムが操作エリアを効果的に探索し、妥当な時間内にターゲットを捕捉し、継続的かつ一貫してターゲットを追跡できることを示しています。

要約(オリジナル)

This paper summarizes in depth the state of the art of aerial swarms, covering both classical and new reinforcement-learning-based approaches for their management. Then, it proposes a hybrid AI system, integrating deep reinforcement learning in a multi-agent centralized swarm architecture. The proposed system is tailored to perform surveillance of a specific area, searching and tracking ground targets, for security and law enforcement applications. The swarm is governed by a central swarm controller responsible for distributing different search and tracking tasks among the cooperating UAVs. Each UAV agent is then controlled by a collection of cooperative sub-agents, whose behaviors have been trained using different deep reinforcement learning models, tailored for the different task types proposed by the swarm controller. More specifically, proximal policy optimization (PPO) algorithms were used to train the agents’ behavior. In addition, several metrics to assess the performance of the swarm in this application were defined. The results obtained through simulation show that our system searches the operation area effectively, acquires the targets in a reasonable time, and is capable of tracking them continuously and consistently.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google