Real-is-Sim: Bridging the Sim-to-Real Gap with a Dynamic Digital Twin for Real-World Robot Policy Evaluation

要約

近年の行動クローニングの進歩により、ロボットは複雑な操作タスクを実行できるようになった。しかし、特に実世界での応用においては、行動クローニングの損失と実際のタスクの成功との相関が低いことが多いため、トレーニングのパフォーマンスを正確に評価することは依然として困難である。そのため、研究者は、コストと時間のかかる実世界評価から得られる成功率メトリクスに頼っており、最適なポリシーの同定やオーバーフィッティングやアンダーフィッティングの検出を非現実的なものにしている。これらの問題に対処するために、我々は、データ収集、トレーニング、およびデプロイメントというポリシー開発パイプライン全体を通して、動的デジタルツイン（Embodied Gaussiansに基づく）を組み込んだ新しい行動クローンフレームワークであるreal-is-simを提案する。シミュレートされた世界と物理的な世界を継続的に整合させることで、シミュレータから抽出された状態を用いて実世界で実証実験を収集することができる。シミュレータは、任意の視点からの画像入力をレンダリングしたり、シーン内で具現化されたオブジェクトから低レベルの状態情報を抽出することで、柔軟な状態表現を可能にします。トレーニング中、ポリシーはシミュレータ内でオフラインかつ並列性の高い方法で直接評価することができる。最後に、デプロイ時には、実際のロボットがシミュレートされたロボットの関節を直接追跡するシミュレータ内でポリシーを実行し、ポリシーの実行を実際のハードウェアから効果的に切り離し、従来のドメイン転送の課題を軽減する。PushT操作タスクでreal-is-simを検証し、シミュレータで得られた成功率と実世界の評価との間に強い相関があることを実証した。本システムの動画は、https://realissim.rai-inst.com。

要約(オリジナル)

Recent advancements in behavior cloning have enabled robots to perform complex manipulation tasks. However, accurately assessing training performance remains challenging, particularly for real-world applications, as behavior cloning losses often correlate poorly with actual task success. Consequently, researchers resort to success rate metrics derived from costly and time-consuming real-world evaluations, making the identification of optimal policies and detection of overfitting or underfitting impractical. To address these issues, we propose real-is-sim, a novel behavior cloning framework that incorporates a dynamic digital twin (based on Embodied Gaussians) throughout the entire policy development pipeline: data collection, training, and deployment. By continuously aligning the simulated world with the physical world, demonstrations can be collected in the real world with states extracted from the simulator. The simulator enables flexible state representations by rendering image inputs from any viewpoint or extracting low-level state information from objects embodied within the scene. During training, policies can be directly evaluated within the simulator in an offline and highly parallelizable manner. Finally, during deployment, policies are run within the simulator where the real robot directly tracks the simulated robot’s joints, effectively decoupling policy execution from real hardware and mitigating traditional domain-transfer challenges. We validate real-is-sim on the PushT manipulation task, demonstrating strong correlation between success rates obtained in the simulator and real-world evaluations. Videos of our system can be found at https://realissim.rai-inst.com.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL