MotionGlot: A Multi-Embodied Motion Generation Model

要約

この論文では、四足ロボットや人体など、アクションの次元が異なる複数の実施形態にわたるモーションを生成できるモデルである MotionGlot を紹介します。
大規模言語モデル (LLM) で一般的に使用される確立されたトレーニング手順を活用することにより、モーション関連タスク向けに特別に設計された命令チューニング テンプレートを導入します。
我々のアプローチは、LLMトレーニングの基礎となる原理が、異なる動作次元を持つ複数の実施形態にわたる広範囲の動作生成タスクを学習するために首尾よく適応できることを実証する。
私たちは 6 つのタスクのセットで MotionGlot のさまざまな能力を実証し、タスク全体で平均 35.3% の改善を報告しました。
さらに、我々は 2 つの新しいデータセットを提供します。(1) 方向ベースのテキスト注釈と組み合わせられた約 48,000 の軌道を持つ専門家制御の四足歩行のデータセット、(2) 人間の動作生成タスク用の 23,000 を超える状況テキスト プロンプトのデータセット。
最後に、ハードウェア実験を実施して、実際のアプリケーションにおけるシステムの機能を検証します。

要約(オリジナル)

This paper introduces MotionGlot, a model that can generate motion across multiple embodiments with different action dimensions, such as quadruped robots and human bodies. By leveraging the well-established training procedures commonly used in large language models (LLMs), we introduce an instruction-tuning template specifically designed for motion-related tasks. Our approach demonstrates that the principles underlying LLM training can be successfully adapted to learn a wide range of motion generation tasks across multiple embodiments with different action dimensions. We demonstrate the various abilities of MotionGlot on a set of 6 tasks and report an average improvement of 35.3% across tasks. Additionally, we contribute two new datasets: (1) a dataset of expert-controlled quadruped locomotion with approximately 48,000 trajectories paired with direction-based text annotations, and (2) a dataset of over 23,000 situational text prompts for human motion generation tasks. Finally, we conduct hardware experiments to validate the capabilities of our system in real-world applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google