Short vs. Long-term Coordination of Drones: When Distributed Optimization Meets Deep Reinforcement Learning

要約

自律型インタラクティブ ドローンの群れは、交通監視などのスマート シティ アプリケーションで強力なセンシング機能を提供できます。
この論文は、ドローンの群れによる大規模な時空間センシングのためのタスク割り当て問題に焦点を当てます。
しかし、既存のアプローチには明確な課題があります。集団学習などの分散進化的最適化には動的環境における長期的な適応性が欠けており、深層強化学習 (DRL) は次元の呪いにより効果的に拡張することが制限されています。
したがって、この論文では、長期的な DRL と短期的な集合学習を統合することによる新しい相乗最適化アプローチを提案します。
このアプローチにより、各ドローンは DRL を使用して飛行方向と充電位置を独立かつ積極的に決定し、同時に構造化されたツリー通信モデルに基づく集団学習を通じてナビゲーションとセンシングのポリシーを進化させます。
現実的な都市モビリティから生成されたデータセットを使用した広範な実験により、複雑なシナリオにおける提案されたソリューションの優れたパフォーマンスが実証されました。
新しい洞察によると、このアプローチは、ドローンベースの交通監視の短期戦略と長期戦略の双方にとって有利な統合を提供し、短期的な方法では訓練の複雑さとエネルギー管理に対処し、長期的な方法では高いセンシング性能を維持することができます。

要約(オリジナル)

Swarms of autonomous interactive drones can provide compelling sensing capabilities in Smart City applications, such as traffic monitoring. This paper focuses on the task assignment problem for large-scale spatio-temporal sensing by a drone swarm. However, existing approaches have distinct challenges: distributed evolutionary optimization, such as collective learning, lacks long-term adaptability in dynamic environments, while deep reinforcement learning (DRL) is limited to scale effectively due to the curse of dimensionality. Therefore, this paper proposes a novel synergetic optimization approach by integrating long-term DRL and short-term collective learning. Through this approach, each drone independently and proactively determines its flying direction and recharging location using DRL, while evolving their navigation and sensing policies through collective learning based on a structured tree communication model. Extensive experiments with datasets generated from realistic urban mobility demonstrate an outstanding performance of the proposed solution in complex scenarios. New insights show that this approach provides a win-win synthesis of short-term and long-term strategies for drone-based traffic monitoring, with short-term methods addressing training complexity and energy management, while long-term methods preserving high sensing performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google