Distributed Autonomous Swarm Formation for Dynamic Network Bridging

要約

ロボットシステムの効果的な操作とシームレスな連携は、次世代のテクノロジーとアプリケーションの基本的な要素です。
災害対応などの状況では、群れの操作では調整された動作とモビリティ制御を分散方式で処理する必要があり、エージェントの動作の品質はエージェントと基盤となるネットワーク間の通信に大きく依存します。
この論文では、エージェントの群れが協力して 2 つの遠く離れた移動ターゲット間のリンクを形成する、新しい分散型部分観察マルコフ決定プロセス (Dec-POMDP) における動的ネットワーク ブリッジングの問題を定式化します。
さらに、グラフ畳み込み強化学習 (DGN) に基づいて、この問題に対するマルチエージェント強化学習 (MARL) アプローチを提案します。これはタスクのネットワーク化された分散特性に自然に適用されます。
提案された方法はシミュレートされた環境で評価され、有望な結果を示す集中型ヒューリスティック ベースラインと比較されます。
さらに、ニア ライブ バーチャル コンストラクティブ (LVC) UAV フレームワークで提案されたアプローチをさらに評価することにより、シムからリアルへの転送に向けたさらなるステップが提示されます。

要約(オリジナル)

Effective operation and seamless cooperation of robotic systems are a fundamental component of next-generation technologies and applications. In contexts such as disaster response, swarm operations require coordinated behavior and mobility control to be handled in a distributed manner, with the quality of the agents’ actions heavily relying on the communication between them and the underlying network. In this paper, we formulate the problem of dynamic network bridging in a novel Decentralized Partially Observable Markov Decision Process (Dec-POMDP), where a swarm of agents cooperates to form a link between two distant moving targets. Furthermore, we propose a Multi-Agent Reinforcement Learning (MARL) approach for the problem based on Graph Convolutional Reinforcement Learning (DGN) which naturally applies to the networked, distributed nature of the task. The proposed method is evaluated in a simulated environment and compared to a centralized heuristic baseline showing promising results. Moreover, a further step in the direction of sim-to-real transfer is presented, by additionally evaluating the proposed approach in a near Live Virtual Constructive (LVC) UAV framework.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google