Generalization of Heterogeneous Multi-Robot Policies via Awareness and Communication of Capabilities

要約

マルチエージェント強化学習 (MARL) の最近の進歩により、異種マルチロボット チームでの優れた調整が可能になりました。
しかし、既存のアプローチでは、学習したポリシーを新しい構成、サイズ、ロボットのチームに一般化するという課題が見落とされていることがよくあります。
このような一般化は、オンデマンドでポリシーを再トレーニングできる仮想エージェントのチームでは重要ではないかもしれませんが、現実世界に展開され、避けられない変化にすぐに適応する必要があるマルチロボット システムでは極めて重要です。
そのため、マルチロボット ポリシーはチームの変更に対して堅牢である必要があります。これを私たちは適応型チーミングと呼んでいます。
この研究では、確立されたマルチロボットのテストベッドを含む詳細な実験を実施することにより、ロボットの機能の認識とコミュニケーションがそのような一般化を提供できるかどうかを調査します。
私たちは、ロボットが自身の能力を認識し伝達できるようにする共有分散ポリシーが、集合的な能力と効果的な調整の間の基本的な関係を暗黙的に捉えることによって、適応的なチーミングを実現できることを実証します。
トレーニングされたポリシーのビデオは、https://sites.google.com/view/cap-comm でご覧いただけます。

要約(オリジナル)

Recent advances in multi-agent reinforcement learning (MARL) are enabling impressive coordination in heterogeneous multi-robot teams. However, existing approaches often overlook the challenge of generalizing learned policies to teams of new compositions, sizes, and robots. While such generalization might not be important in teams of virtual agents that can retrain policies on-demand, it is pivotal in multi-robot systems that are deployed in the real-world and must readily adapt to inevitable changes. As such, multi-robot policies must remain robust to team changes — an ability we call adaptive teaming. In this work, we investigate if awareness and communication of robot capabilities can provide such generalization by conducting detailed experiments involving an established multi-robot test bed. We demonstrate that shared decentralized policies, that enable robots to be both aware of and communicate their capabilities, can achieve adaptive teaming by implicitly capturing the fundamental relationship between collective capabilities and effective coordination. Videos of trained policies can be viewed at: https://sites.google.com/view/cap-comm

arxiv情報

提供元, 利用サービス

arxiv.jp, Google