CrossLoco: Human Motion Driven Control of Legged Robots via Guided Unsupervised Reinforcement Learning

要約

ヒューマン モーション駆動制御 (HMDC) は、高レベルのセマンティクスを維持しながら、自然で魅力的なロボットの動作を生成するための効果的なアプローチです。
しかし、人間と異なる身体構造を持つロボットとの間の対応関係を確立することは、運動学と力学特性の不一致により簡単ではなく、問題に本質的な曖昧さをもたらします。
以前のアルゴリズムの多くは、教師なし学習を使用してこのモーション リターゲティング問題に取り組んでおり、前提条件となるスキル セットが必要です。
しかし、特に高次元ロボットの場合、与えられた人間の動作を理解せずにすべてのスキルを習得することは非常にコストがかかります。
この研究では、ロボットのスキルと人間の動作への対応を同時に学習する、ガイド付き教師なし強化学習フレームワークである CrossLoco を紹介します。
私たちの主な革新は、人間の動作とロボットの状態の間の相互情報を最大化するように設計された、サイクル一貫性に基づく報酬条件を導入することです。
提案したフレームワークが、走る、飛び跳ねる、踊るといった人間の多様な動作を変換することで、魅力的なロボットの動作を生成できることを実証します。
私たちは、CrossLoco を手動で設計された教師なしのベースライン アルゴリズムおよびフレームワークのアブレーション バージョンと定量的に比較し、私たちの方法が人間の動きをより正確に、多様性、ユーザーの好みで変換できることを実証します。
また、言語入力からロボットの動きを合成したり、対話型ロボット制御を可能にしたりするなど、他のアプリケーションでのその有用性も紹介します。

要約(オリジナル)

Human motion driven control (HMDC) is an effective approach for generating natural and compelling robot motions while preserving high-level semantics. However, establishing the correspondence between humans and robots with different body structures is not straightforward due to the mismatches in kinematics and dynamics properties, which causes intrinsic ambiguity to the problem. Many previous algorithms approach this motion retargeting problem with unsupervised learning, which requires the prerequisite skill sets. However, it will be extremely costly to learn all the skills without understanding the given human motions, particularly for high-dimensional robots. In this work, we introduce CrossLoco, a guided unsupervised reinforcement learning framework that simultaneously learns robot skills and their correspondence to human motions. Our key innovation is to introduce a cycle-consistency-based reward term designed to maximize the mutual information between human motions and robot states. We demonstrate that the proposed framework can generate compelling robot motions by translating diverse human motions, such as running, hopping, and dancing. We quantitatively compare our CrossLoco against the manually engineered and unsupervised baseline algorithms along with the ablated versions of our framework and demonstrate that our method translates human motions with better accuracy, diversity, and user preference. We also showcase its utility in other applications, such as synthesizing robot movements from language input and enabling interactive robot control.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google