Deep Reinforcement Learning Enabled Persistent Surveillance with Energy-Aware UAV-UGV Systems for Disaster Management Applications

要約

無人航空機（UAV）と無人の地上車両（UGV）を統合すると、災害管理における持続的な監視のための効果的なソリューションが提供されます。
UAVは急速に広い領域をカバーすることに優れていますが、その範囲はバッテリー容量によって制限されています。
UGVは、遅くなっていますが、延長ミッションのために大きなバッテリーを運ぶことができます。
UGVをモバイル充電ステーションとして使用することにより、UAVは定期的な燃料補給を通じてミッション期間を延長し、両方のシステムの補完的な強さを活用できます。
このエネルギーを認識しているUAV-AUGV協同ルーティングの問題を最適化するために、UAVとUGVの間の最適なルートと充電ポイントを決定する計画フレームワークを提案します。
当社のソリューションは、マルチヘッド注意メカニズムを備えたエンコーダーデコーダートランスアーキテクチャに基づいて構築されたディープ補強学習（DRL）フレームワークを採用しています。
このアーキテクチャにより、モデルはミッションポイントにアクセスし、UAVとUGVの間のランデブーを再充電するためのアクションを順次選択できます。
DRLモデルは、ミッションポイントの年齢期間（連続した訪問間の時間隙間）を最小限に抑えるように訓練され、効果的な監視が確保されます。
さまざまな問題のサイズと分布にわたるフレームワークを評価し、そのパフォーマンスをヒューリスティックな方法と既存の学習ベースのモデルと比較します。
結果は、私たちのアプローチが、ソリューションの品質とランタイムの両方でこれらのベースラインよりも一貫して優れていることを示しています。
さらに、ケーススタディとしての実際の災害シナリオでのDRLポリシーの適用性を示し、オンラインミッション計画の動的な変更を処理する可能性を調査します。
優先駆動型監視のためにDRLポリシーを適応させると、リアルタイムの災害対応に対するモデルの一般化可能性が強調されています。

要約(オリジナル)

Integrating Unmanned Aerial Vehicles (UAVs) with Unmanned Ground Vehicles (UGVs) provides an effective solution for persistent surveillance in disaster management. UAVs excel at covering large areas rapidly, but their range is limited by battery capacity. UGVs, though slower, can carry larger batteries for extended missions. By using UGVs as mobile recharging stations, UAVs can extend mission duration through periodic refueling, leveraging the complementary strengths of both systems. To optimize this energy-aware UAV-UGV cooperative routing problem, we propose a planning framework that determines optimal routes and recharging points between a UAV and a UGV. Our solution employs a deep reinforcement learning (DRL) framework built on an encoder-decoder transformer architecture with multi-head attention mechanisms. This architecture enables the model to sequentially select actions for visiting mission points and coordinating recharging rendezvous between the UAV and UGV. The DRL model is trained to minimize the age periods (the time gap between consecutive visits) of mission points, ensuring effective surveillance. We evaluate the framework across various problem sizes and distributions, comparing its performance against heuristic methods and an existing learning-based model. Results show that our approach consistently outperforms these baselines in both solution quality and runtime. Additionally, we demonstrate the DRL policy’s applicability in a real-world disaster scenario as a case study and explore its potential for online mission planning to handle dynamic changes. Adapting the DRL policy for priority-driven surveillance highlights the model’s generalizability for real-time disaster response.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google