CQLite: Communication-Efficient Multi-Robot Exploration Using Coverage-biased Distributed Q-Learning

要約

フロンティア探索と強化学習は、多くの移動ロボットが複雑な環境を自律的かつ協力的に探索できるようにするという問題を解決するために歴史的に使用されてきました。
これらの方法では、ナビゲーションのために内部の世界地図を保持する必要がありますが、ロボット間の通信と情報共有にかかるコストが高くつくことは考慮されていません。
この研究は、マルチロボット探索における迅速な収束と徹底的なカバレッジを達成しながら、ロボット間のデータ通信オーバーヘッドを最小限に抑えるように設計された新しい分散型 Q 学習技術である CQLite を提供します。
提案された CQLite 方法は、アドホック マップ マージを使用し、最近特定されたフロンティアで更新された Q 値を選択的に共有することで、通信コストを大幅に削減します。
CQLite の収束と効率の理論的分析と、いくつかのロボットを使用したシミュレートされた屋内マップでの広範な数値検証は、この方法の新規性を実証しています。
CQLite は、計算量と通信量を 2 倍以上削減し、マッピング パフォーマンスも向上したため、ランダム ツリーの急速探索や深層強化学習などの最先端のマルチロボット探索技術を上回りました。
関連コードは \url{https://github.com/herolab-uga/cqlite} でオープンソース化されています。

要約(オリジナル)

Frontier exploration and reinforcement learning have historically been used to solve the problem of enabling many mobile robots to autonomously and cooperatively explore complex surroundings. These methods need to keep an internal global map for navigation, but they do not take into consideration the high costs of communication and information sharing between robots. This study offers CQLite, a novel distributed Q-learning technique designed to minimize data communication overhead between robots while achieving rapid convergence and thorough coverage in multi-robot exploration. The proposed CQLite method uses ad hoc map merging, and selectively shares updated Q-values at recently identified frontiers to significantly reduce communication costs. The theoretical analysis of CQLite’s convergence and efficiency, together with extensive numerical verification on simulated indoor maps utilizing several robots, demonstrates the method’s novelty. With over 2x reductions in computation and communication alongside improved mapping performance, CQLite outperformed cutting-edge multi-robot exploration techniques like Rapidly Exploring Random Trees and Deep Reinforcement Learning. Related codes are open-sourced at \url{https://github.com/herolab-uga/cqlite}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google