DrEureka: Language Model Guided Sim-To-Real Transfer

要約

シミュレーションで学習したポリシーを現実世界に移すことは、ロボットのスキルを大規模に習得するための有望な戦略です。
ただし、シミュレーションからリアルへのアプローチは通常、タスク報酬関数とシミュレーション物理パラメータの手動設計と調整に依存しており、プロセスが遅くなり、人的労力が集中します。
このペーパーでは、大規模言語モデル (LLM) を使用してシミュレートからリアルへの設計を自動化および高速化する方法について調査します。
当社の LLM ガイドによる sim-to-real アプローチである DrEureka は、ターゲット タスクの物理シミュレーションのみを必要とし、現実世界の転送をサポートするために適切な報酬関数とドメインのランダム化分布を自動的に構築します。
まず、私たちのアプローチが、四足歩行や器用な操作タスクにおいて人間が設計した既存の構成と競合するシミュレーションと現実の構成を発見できることを実証します。
次に、私たちのアプローチが、反復的な手動設計を行わずに、四足歩行のバランスやヨガ ボールの上での歩行などの新しいロボットのタスクを解決できることを示します。

要約(オリジナル)

Transferring policies learned in simulation to the real world is a promising strategy for acquiring robot skills at scale. However, sim-to-real approaches typically rely on manual design and tuning of the task reward function as well as the simulation physics parameters, rendering the process slow and human-labor intensive. In this paper, we investigate using Large Language Models (LLMs) to automate and accelerate sim-to-real design. Our LLM-guided sim-to-real approach, DrEureka, requires only the physics simulation for the target task and automatically constructs suitable reward functions and domain randomization distributions to support real-world transfer. We first demonstrate that our approach can discover sim-to-real configurations that are competitive with existing human-designed ones on quadruped locomotion and dexterous manipulation tasks. Then, we showcase that our approach is capable of solving novel robot tasks, such as quadruped balancing and walking atop a yoga ball, without iterative manual design.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google