Multi-Loco: Unifying Multi-Embodiment Legged Locomotion via Reinforcement Learning Augmented Diffusion

要約

さまざまな形態学を備えた多様な脚のロボット全体の運動ポリシーを一般化することは、観測/作用の次元とシステムのダイナミクスの違いにより、重要な課題です。
この作業では、強化学習（RL）を介して最適化された軽量残差ポリシーと形態と存在の生成拡散モデルを組み合わせた新しい統一フレームワークであるマルチロコを提案します。
拡散モデルは、多様な交差拡大データセットから形態不変の移動パターンをキャプチャし、一般化と堅牢性を改善します。
残留ポリシーは、すべての実施形態で共有され、拡散モデルによって生成されるアクションを改良し、現実世界の展開のためのタスク認識パフォーマンスと堅牢性を高めます。
シミュレーションと実際の実験の両方で、4つの足のロボットの豊富なライブラリを使用して、方法を評価しました。
PPOを備えた標準のRLフレームワークと比較して、ガウスポリシーを拡散モデルと残留用語に置き換えるアプローチは、10.35％の平均リターンの改善を達成し、車輪付きバイプされた移動タスクで最大13.57％増加します。
これらの結果は、拡大したデータと、堅牢で一般化された移動スキルの学習における複合生成アーキテクチャの利点を強調しています。

要約(オリジナル)

Generalizing locomotion policies across diverse legged robots with varying morphologies is a key challenge due to differences in observation/action dimensions and system dynamics. In this work, we propose Multi-Loco, a novel unified framework combining a morphology-agnostic generative diffusion model with a lightweight residual policy optimized via reinforcement learning (RL). The diffusion model captures morphology-invariant locomotion patterns from diverse cross-embodiment datasets, improving generalization and robustness. The residual policy is shared across all embodiments and refines the actions generated by the diffusion model, enhancing task-aware performance and robustness for real-world deployment. We evaluated our method with a rich library of four legged robots in both simulation and real-world experiments. Compared to a standard RL framework with PPO, our approach — replacing the Gaussian policy with a diffusion model and residual term — achieves a 10.35% average return improvement, with gains up to 13.57% in wheeled-biped locomotion tasks. These results highlight the benefits of cross-embodiment data and composite generative architectures in learning robust, generalized locomotion skills.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google