IRASim: Learning Interactive Real-Robot Action Simulators

要約

現実世界でのスケーラブルなロボット学習は、実際のロボットのコストと安全性の問題によって制限されます。
さらに、現実世界でロボットの軌道を展開するには、時間と労力がかかる場合があります。
この論文では、代替手段として対話型のリアルロボットアクションシミュレータを学習することを提案します。
私たちは、生成モデルの力を活用して、最初の指定されたフレームから開始して、指定された動作軌道を実行するロボット アームの非常に現実的なビデオを生成する新しい手法 IRASim を紹介します。
私たちの方法の有効性を検証するために、3 つの実際のロボット データセットに基づいて新しいベンチマーク IRASim Benchmark を作成し、そのベンチマークで広範な実験を実行します。
結果は、IRASim がすべてのベースライン手法を上回り、人間による評価においてより好ましいことを示しています。
私たちは、IRASim が現実世界でのロボット学習を強化するための効果的かつスケーラブルなアプローチとして機能することを期待しています。
生成的なリアル ロボット アクション シミュレーターの研究を促進するために、https://gen-irasim.github.io でオープンソース コード、ベンチマーク、チェックポイントを公開しています。

要約(オリジナル)

Scalable robot learning in the real world is limited by the cost and safety issues of real robots. In addition, rolling out robot trajectories in the real world can be time-consuming and labor-intensive. In this paper, we propose to learn an interactive real-robot action simulator as an alternative. We introduce a novel method, IRASim, which leverages the power of generative models to generate extremely realistic videos of a robot arm that executes a given action trajectory, starting from an initial given frame. To validate the effectiveness of our method, we create a new benchmark, IRASim Benchmark, based on three real-robot datasets and perform extensive experiments on the benchmark. Results show that IRASim outperforms all the baseline methods and is more preferable in human evaluations. We hope that IRASim can serve as an effective and scalable approach to enhance robot learning in the real world. To promote research for generative real-robot action simulators, we open-source code, benchmark, and checkpoints at https: //gen-irasim.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google