Dream to Manipulate: Compositional World Models Empowering Robot Imitation Learning with Imagination

要約

世界モデルは、エージェントにその環境の表現を提供し、その行動の因果的な結果を予測できるようにします。
現在の世界モデルは通常、ロボットの前の実際の環境を直接かつ明示的に模倣することはできません。多くの場合、実際のロボット工学アプリケーションに適していない非現実的な行動や幻覚をもたらします。
これらの課題を克服するために、ロボットの世界モデルを学習可能なデジタル双子として再考することを提案します。
現実世界とそのダイナミクスの学習した明示的な表現を使用して、デジタル双子を自動的に構築するための新しいアプローチであるDremaを紹介し、従来のデジタル双子と世界モデルのギャップを埋めます。
DREMAは、ガウスのスプラッティングと物理シミュレーターを統合することにより、観察された世界とその構造を複製し、ロボットがオブジェクトの新しい構成を想像し、その構成のおかげでロボットアクションの将来の結果を予測できるようにします。
この機能を活用して、等垂直変換を小さなデモに適用することにより、模倣学習のための新しいデータを生成します。
さまざまな設定にわたる評価は、アクションとオブジェクト分布を増やすことにより、精度と堅牢性の大幅な改善を示し、ポリシーを学習し、エージェントの一般化を改善するために必要なデータを削減します。
ハイライトとして、Dremaの想像力を搭載した本物のFranka Emika Pandaロボットは、タスクのバリエーションごとに単一の例から新しい物理的タスク（ワンショットポリシー学習）から成功裏に学習できることを示しています。
プロジェクトページは、https：//dreamtomanipulate.github.io/にあります。

要約(オリジナル)

A world model provides an agent with a representation of its environment, enabling it to predict the causal consequences of its actions. Current world models typically cannot directly and explicitly imitate the actual environment in front of a robot, often resulting in unrealistic behaviors and hallucinations that make them unsuitable for real-world robotics applications. To overcome those challenges, we propose to rethink robot world models as learnable digital twins. We introduce DreMa, a new approach for constructing digital twins automatically using learned explicit representations of the real world and its dynamics, bridging the gap between traditional digital twins and world models. DreMa replicates the observed world and its structure by integrating Gaussian Splatting and physics simulators, allowing robots to imagine novel configurations of objects and to predict the future consequences of robot actions thanks to its compositionality. We leverage this capability to generate new data for imitation learning by applying equivariant transformations to a small set of demonstrations. Our evaluations across various settings demonstrate significant improvements in accuracy and robustness by incrementing actions and object distributions, reducing the data needed to learn a policy and improving the generalization of the agents. As a highlight, we show that a real Franka Emika Panda robot, powered by DreMa’s imagination, can successfully learn novel physical tasks from just a single example per task variation (one-shot policy learning). Our project page can be found in: https://dreamtomanipulate.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google