DiffuseLoco: Real-Time Legged Locomotion Control with Diffusion from Offline Datasets

要約

この研究では、オフライン データセットから動的脚移動のためのマルチスキル拡散ベースのポリシーをトレーニングするためのフレームワークである DiffuseLoco を導入し、現実世界のロボットの多様なスキルのリアルタイム制御を可能にします。
大規模なオフライン学習は、コンピューター ビジョン、自然言語処理、ロボット操作の分野で画期的な進歩をもたらしました。
しかし、脚式ロボットの移動学習のスケールアップ、特に 1 つのポリシーで複数のスキルを使用する場合、これまでのオンライン強化学習方法には大きな課題が生じます。
この課題に対処するために、私たちは拡散モデルを活用して、多様な移動スキルを備えたオフラインのマルチモーダル データセットから直接学習する、新しくてスケーラブルなフレームワークを提案します。
DiffuseLoco は、後退地平線制御や遅延入力など、動的システムのリアルタイム制御に合わせた設計の選択により、さまざまな移動スキルの実行におけるマルチモダリティの再現、実際の四足歩行ロボットへのゼロショット転送が可能で、エッジ コンピューティングに展開できます。
デバイス。
さらに、DiffuseLoco は、スキル間の自由な移行と環境変化に対する堅牢性を実証します。
現実世界の実験における広範なベンチマークを通じて、DiffuseLoco は、以前の強化学習や非拡散ベースの動作複製ベースラインと比較して、より優れた安定性と速度追跡パフォーマンスを示します。
設計の選択は、包括的なアブレーション研究を通じて検証されます。
この研究は、大規模で表現力豊かなモデルと多様なオフライン データセットのスケーリングを通じて、学習ベースの脚式移動コントローラーをスケールアップする新たな可能性を開きます。

要約(オリジナル)

This work introduces DiffuseLoco, a framework for training multi-skill diffusion-based policies for dynamic legged locomotion from offline datasets, enabling real-time control of diverse skills on robots in the real world. Offline learning at scale has led to breakthroughs in computer vision, natural language processing, and robotic manipulation domains. However, scaling up learning for legged robot locomotion, especially with multiple skills in a single policy, presents significant challenges for prior online reinforcement learning methods. To address this challenge, we propose a novel, scalable framework that leverages diffusion models to directly learn from offline multimodal datasets with a diverse set of locomotion skills. With design choices tailored for real-time control in dynamical systems, including receding horizon control and delayed inputs, DiffuseLoco is capable of reproducing multimodality in performing various locomotion skills, zero-shot transfer to real quadrupedal robots, and it can be deployed on edge computing devices. Furthermore, DiffuseLoco demonstrates free transitions between skills and robustness against environmental variations. Through extensive benchmarking in real-world experiments, DiffuseLoco exhibits better stability and velocity tracking performance compared to prior reinforcement learning and non-diffusion-based behavior cloning baselines. The design choices are validated via comprehensive ablation studies. This work opens new possibilities for scaling up learning-based legged locomotion controllers through the scaling of large, expressive models and diverse offline datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google