SDS — See it, Do it, Sorted: Quadruped Skill Synthesis from Single Video Demonstration

要約

この論文では、単一のデモンストレーション ビデオから直観的に四足歩行スキルを学習するための新しいパイプラインである SDS (「See it. Do it. Sorted.」) を紹介します。
GPT-4o のビジュアル機能を活用して、SDS は新しい思考連鎖促進技術 (SUS) を通じて入力ビデオを処理し、近接ポリシー最適化 (PPO) の学習を通じて移動スキルの模倣を促進する実行可能な報酬関数 (RF) を生成します。
) ベースの強化学習 (RL) ポリシー。NVIDIA IsaacGym シミュレーターからの環境情報を使用します。
SDS は、個々の報酬コンポーネントを監視し、トレーニング映像とフィットネス メトリクスを GPT-4o に戻すことで RF を自律的に評価します。GPT-4o は、各反復でより高いタスクフィットネスを達成するために RF を進化させるように促されます。
Unitree Go1 ロボットでメソッドを検証し、速歩、バウンディング、ペーシング、ホッピングなどのさまざまなスキルを実行する能力を実証し、高い模倣忠実度と移動の安定性を実現します。
SDS は、SOTA 手法に比べてタスクの適応性が向上し、ドメイン固有の知識への依存が軽減され、労働集約的な報酬エンジニアリングや大規模なトレーニング データセットの必要性が回避されることを示しています。
追加情報とオープンソースのコードは、https://rpl-cs-ucl.github.io/SDSweb でご覧いただけます。

要約(オリジナル)

In this paper, we present SDS (“See it. Do it. Sorted.”), a novel pipeline for intuitive quadrupedal skill learning from a single demonstration video. Leveraging the Visual capabilities of GPT-4o, SDS processes input videos through our novel chain-of-thought promoting technique (SUS) and generates executable reward functions (RFs) that drive the imitation of locomotion skills, through learning a Proximal Policy Optimization (PPO)-based Reinforcement Learning (RL) policy, using environment information from the NVIDIA IsaacGym simulator. SDS autonomously evaluates the RFs by monitoring the individual reward components and supplying training footage and fitness metrics back into GPT-4o, which is then prompted to evolve the RFs to achieve higher task fitness at each iteration. We validate our method on the Unitree Go1 robot, demonstrating its ability to execute variable skills such as trotting, bounding, pacing and hopping, achieving high imitation fidelity and locomotion stability. SDS shows improvements over SOTA methods in task adaptability, reduced dependence on domain-specific knowledge, and bypassing the need for labor-intensive reward engineering and large-scale training datasets. Additional information and the open-sourced code can be found in: https://rpl-cs-ucl.github.io/SDSweb

arxiv情報

提供元, 利用サービス

arxiv.jp, Google