Learning from Demonstration Framework for Multi-Robot Systems Using Interaction Keypoints and Soft Actor-Critic Methods

要約

デモンストレーションからの学習（LfD）は、マルチロボットシステム（MRS）が複雑なスキルや行動を習得するための有望なアプローチである。しかし、MRSにおける複雑な相互作用と協調の課題は、効果的なLfDに大きなハードルをもたらす。本論文では、MRSのために特別に設計された新しいLfDフレームワークを紹介する。このフレームワークは、ロボット-ロボットおよびロボット-オブジェクトの相互作用をキャプチャし、そこから学習するために視覚的デモンストレーションを活用する。我々のフレームワークは、タスクに必要な様々なスキルの推論を容易にする表現に視覚的デモンストレーションを変換するために、インタラクションキーポイント（IK）の概念を導入する。その後、ロボットは必要に応じて、感覚運動動作と強化学習（RL）ポリシーを使用してタスクを実行する。本アプローチの主な特徴は、実演中に出現する未知の接触ベースのスキルを扱う能力である。このような場合、分類器ベースの報酬関数を使用してスキルを学習するためにRLが採用され、手動報酬工学の必要性を排除し、環境変化への適応性を確保する。我々は、行動ベースと接触ベースの両方の領域をカバーする、様々な移動ロボットのタスクで我々のフレームワークを評価する。その結果、ロボットが視覚的なデモンストレーションから複雑なマルチロボットのタスクや行動を学習することを可能にする上で、我々のアプローチの有効性が実証された。

要約(オリジナル)

Learning from Demonstration (LfD) is a promising approach to enable Multi-Robot Systems (MRS) to acquire complex skills and behaviors. However, the intricate interactions and coordination challenges in MRS pose significant hurdles for effective LfD. In this paper, we present a novel LfD framework specifically designed for MRS, which leverages visual demonstrations to capture and learn from robot-robot and robot-object interactions. Our framework introduces the concept of Interaction Keypoints (IKs) to transform the visual demonstrations into a representation that facilitates the inference of various skills necessary for the task. The robots then execute the task using sensorimotor actions and reinforcement learning (RL) policies when required. A key feature of our approach is the ability to handle unseen contact-based skills that emerge during the demonstration. In such cases, RL is employed to learn the skill using a classifier-based reward function, eliminating the need for manual reward engineering and ensuring adaptability to environmental changes. We evaluate our framework across a range of mobile robot tasks, covering both behavior-based and contact-based domains. The results demonstrate the effectiveness of our approach in enabling robots to learn complex multi-robot tasks and behaviors from visual demonstrations.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL