Data-Efficient Approach to Humanoid Control via Fine-Tuning a Pre-Trained GPT on Action Data

要約

マルチタスクのヒューマノイド制御モデルの開発にはいくつかの課題があります。
強化学習と模倣学習のアプローチは、この分野では非常に人気があります。
ただし、両者の間にはトレードオフがあります。
強化学習は、トレーニング時間とモデル サイズの理由から、ヒューマノイドが複数の動作を実行するようにトレーニングするのに最適なオプションではありません。また、運動学のデータのみを使用した模倣学習は、動きの実際の物理学を実現するには適切ではありません。
複数の複雑なタスクを実行するモデルをトレーニングするには、高い自由度と動きの複雑さのため、長いトレーニング時間がかかります。
オフラインでモデルをトレーニングすることは有益ですが、別の問題はデータセットのサイズであり、通常、複数の動きをカプセル化するには非常に大きくなります。
ヒューマノイド キャラクターを制御し、記録/参照モーションの大規模なデータセットに基づいてモーションを予測するトランスフォーマー ベースのモデルの実装はほとんどありません。
このペーパーでは、事前トレーニング済みモデルとしてヒューマノイド モーション データセットからのノイズの多いエキスパート ポリシー ロールアウトの観測の大規模なデータセットで GPT をトレーニングし、物理的に自己回帰的に生成するノイズの多いエキスパート ポリシー ロールアウトの観測とアクションのより小さなデータセットでそのモデルを微調整します。
もっともらしい運動軌跡。
私たちは、より短いトレーニング時間でより小さなデータセット上で GPT ベースの基礎モデルをトレーニングし、現実的な物理環境でヒューマノイドを制御して人間のような動きを実行できることを示します。

要約(オリジナル)

There are several challenges in developing a model for multi-tasking humanoid control. Reinforcement learning and imitation learning approaches are quite popular in this domain. However, there is a trade-off between the two. Reinforcement learning is not the best option for training a humanoid to perform multiple behaviors due to training time and model size, and imitation learning using kinematics data alone is not appropriate to realize the actual physics of the motion. Training models to perform multiple complex tasks take long training time due to high DoF and complexities of the movements. Although training models offline would be beneficial, another issue is the size of the dataset, usually being quite large to encapsulate multiple movements. There are few implementations of transformer-based models to control humanoid characters and predict their motion based on a large dataset of recorded/reference motion. In this paper, we train a GPT on a large dataset of noisy expert policy rollout observations from a humanoid motion dataset as a pre-trained model and fine tune that model on a smaller dataset of noisy expert policy rollout observations and actions to autoregressively generate physically plausible motion trajectories. We show that it is possible to train a GPT-based foundation model on a smaller dataset in shorter training time to control a humanoid in a realistic physics environment to perform human-like movements.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google