Physics-Driven Data Generation for Contact-Rich Manipulation via Trajectory Optimization

要約

物理学ベースのシミュレーション、人間のデモンストレーション、およびモデルベースの計画を統合する低コストのデータ生成パイプラインを提示し、接触豊富なロボット操作タスクのための大規模で高品質のデータセットを効率的に生成します。
仮想現実シミュレーション環境で収集された少数の具体化された柔軟性のないヒトデモンストレーションから始めて、パイプラインは、さまざまなロボットの実施形態と物理的パラメーターに適応するために、最適化ベースの運動学的リターゲティングと軌跡の最適化を使用してこれらのデモンストレーションを改良します。
このプロセスは、交差体拡大データ転送を可能にする多様で物理的に一貫したデータセットを生成し、さまざまなハードウェア構成または物理パラメーターで収集されたレガシーデータセットを再利用する可能性を提供します。
生成されたデータセットから拡散ポリシーをトレーニングすることにより、パイプラインの有効性を検証し、フローティングアレグロハンドや両マニュアルロボットアームを含む複数のロボットの実施形態にわたる接触豊富な操作タスクに挑戦します。
訓練されたポリシーは、二近IIWAアームのハードウェアにゼロショットを展開し、人間の入力を最小限に抑えて高い成功率を達成します。
プロジェクトWebサイト：https：//lujieyang.github.io/physicsgen/。

要約(オリジナル)

We present a low-cost data generation pipeline that integrates physics-based simulation, human demonstrations, and model-based planning to efficiently generate large-scale, high-quality datasets for contact-rich robotic manipulation tasks. Starting with a small number of embodiment-flexible human demonstrations collected in a virtual reality simulation environment, the pipeline refines these demonstrations using optimization-based kinematic retargeting and trajectory optimization to adapt them across various robot embodiments and physical parameters. This process yields a diverse, physically consistent dataset that enables cross-embodiment data transfer, and offers the potential to reuse legacy datasets collected under different hardware configurations or physical parameters. We validate the pipeline’s effectiveness by training diffusion policies from the generated datasets for challenging contact-rich manipulation tasks across multiple robot embodiments, including a floating Allegro hand and bimanual robot arms. The trained policies are deployed zero-shot on hardware for bimanual iiwa arms, achieving high success rates with minimal human input. Project website: https://lujieyang.github.io/physicsgen/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google