Decentralized Multi-Robot Formation Control Using Reinforcement Learning

要約

この論文では、小型教育用 Sphero ロボットの群れに適用される強化学習 (RL) アルゴリズムに基づく、分散型リーダー/フォロワー マルチロボット編成制御について説明します。
基本的な Q 学習方法は Q テーブルに大量のメモリ リソースを必要とすることが知られているため、この研究では多くのロボット問題で優れた結果を達成した Double Deep Q-Network (DDQN) アルゴリズムを実装しています。
システムの動作を強化するために、2 つの異なる DDQN モデルをトレーニングしました。1 つは編隊に到達するためのもので、もう 1 つは編隊を維持するためのものです。
モデルは、ロボットの動き (動作) の離散的なセットを使用して、連続非線形システムを RL の離散的な性質に適応させます。
提示されたアプローチは、シミュレーションと実際の実験でテストされ、複雑な数学モデルや非線形制御法則を必要とせずに、マルチロボットシステムが安定した編隊を達成および維持できることが示されています。

要約(オリジナル)

This paper presents a decentralized leader-follower multi-robot formation control based on a reinforcement learning (RL) algorithm applied to a swarm of small educational Sphero robots. Since the basic Q-learning method is known to require large memory resources for Q-tables, this work implements the Double Deep Q-Network (DDQN) algorithm, which has achieved excellent results in many robotic problems. To enhance the system behavior, we trained two different DDQN models, one for reaching the formation and the other for maintaining it. The models use a discrete set of robot motions (actions) to adapt the continuous nonlinear system to the discrete nature of RL. The presented approach has been tested in simulation and real experiments which show that the multi-robot system can achieve and maintain a stable formation without the need for complex mathematical models and nonlinear control laws.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google