Multi-Agent Behavior Retrieval: Retrieval-Augmented Policy Training for Cooperative Push Manipulation by Mobile Robots

要約

エージェント間の複雑な相互作用により、マルチエージェント制御ポリシーを学習するには、多くの場合、禁止された量のデータが必要です。
このペーパーは、マルチエージェントシステムが過去の記憶を効果的に利用して、データ効率の良い方法で新しい共同作業に適応できるようにすることを目的としています。
マルチエージェント調整スキルデータベースを提案します。これは、それらに特徴的な主要ベクトルに関連する調整された動作のコレクションを保存するためのリポジトリです。
変圧器ベースのスキルエンコーダは、調整に寄与する時空間相互作用を効果的にキャプチャし、各調整された動作に対して独自のスキル表現を提供します。
ターゲットタスクの少数のデモンストレーションのみを活用することにより、データベースを使用すると、取得したデモンストレーションで増強されたデータセットを使用してポリシーをトレーニングできます。
実験的評価は、私たちの方法が、少数のショット模倣学習のようなベースライン方法と比較して、プッシュ操作タスクの大幅な成功率を達成することを示しています。
さらに、車輪付きロボットのチームを使用して、実際の環境での取得とラーンのフレームワークの有効性を検証します。

要約(オリジナル)

Due to the complex interactions between agents, learning multi-agent control policy often requires a prohibited amount of data. This paper aims to enable multi-agent systems to effectively utilize past memories to adapt to novel collaborative tasks in a data-efficient fashion. We propose the Multi-Agent Coordination Skill Database, a repository for storing a collection of coordinated behaviors associated with key vectors distinctive to them. Our Transformer-based skill encoder effectively captures spatio-temporal interactions that contribute to coordination and provides a unique skill representation for each coordinated behavior. By leveraging only a small number of demonstrations of the target task, the database enables us to train the policy using a dataset augmented with the retrieved demonstrations. Experimental evaluations demonstrate that our method achieves a significantly higher success rate in push manipulation tasks compared with baseline methods like few-shot imitation learning. Furthermore, we validate the effectiveness of our retrieve-and-learn framework in a real environment using a team of wheeled robots.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google