GeRM: A Generalist Robotic Model with Mixture-of-experts for Quadruped Robot

要約

マルチタスクのロボット学習は、多様で複雑なシナリオに取り組む上で非常に重要です。
ただし、現在のアプローチは、パフォーマンスの問題とトレーニング データセットの収集の難しさによって妨げられています。
本稿ではGeRM(Generalist Robotic Model)を提案する。
私たちはオフラインの強化学習を利用して、デモンストレーションと次善のデータの両方から学習するデータ利用戦略を最適化し、人間によるデモンストレーションの限界を超えています。
その後、トランスベースの VLA ネットワークを採用して、マルチモーダルな入力および出力アクションを処理します。
Mixture-of-Experts 構造を導入することにより、GeRM はモデル全体の容量を増やして推論速度を高速化できるため、限られた RL パラメータの問題が解決され、計算コストを制御しながらマルチタスク学習におけるモデルのパフォーマンスが向上します。
一連の実験を通じて、GeRM がすべてのタスクにわたって他の手法よりも優れていることを実証すると同時に、トレーニングと推論の両方のプロセスにおける効率性も検証しました。
さらに、新たなスキルを獲得する可能性も明らかにします。
さらに、トレーニング アプローチをサポートし、マルチタスク四足ロボット学習の進歩を促進するために自動的に収集された QUARD-Auto データセットにも貢献しています。
この研究は、ロボット データの収集コストを削減し、マルチタスク学習コミュニティの進歩を促進するための新しいパラダイムを提示します。
リンク https://songwxuan.github.io/GeRM/ からプロジェクトとビデオにアクセスできます。

要約(オリジナル)

Multi-task robot learning holds significant importance in tackling diverse and complex scenarios. However, current approaches are hindered by performance issues and difficulties in collecting training datasets. In this paper, we propose GeRM (Generalist Robotic Model). We utilize offline reinforcement learning to optimize data utilization strategies to learn from both demonstrations and sub-optimal data, thus surpassing the limitations of human demonstrations. Thereafter, we employ a transformer-based VLA network to process multi-modal inputs and output actions. By introducing the Mixture-of-Experts structure, GeRM allows faster inference speed with higher whole model capacity, and thus resolves the issue of limited RL parameters, enhancing model performance in multi-task learning while controlling computational costs. Through a series of experiments, we demonstrate that GeRM outperforms other methods across all tasks, while also validating its efficiency in both training and inference processes. Additionally, we uncover its potential to acquire emergent skills. Additionally, we contribute the QUARD-Auto dataset, collected automatically to support our training approach and foster advancements in multi-task quadruped robot learning. This work presents a new paradigm for reducing the cost of collecting robot data and driving progress in the multi-task learning community. You can reach our project and video through the link: https://songwxuan.github.io/GeRM/ .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google