Dream to Manipulate: Compositional World Models Empowering Robot Imitation Learning with Imagination

要約

世界モデルは、エージェントにその環境の表現を提供し、エージェントがその行動の因果関係を予測できるようにします。
現在の世界モデルは通常、ロボットの前にある実際の環境を直接的かつ明示的に模倣することができないため、多くの場合、非現実的な動作や幻覚が生じ、現実世界のアプリケーションには適さなくなります。
この論文では、現実世界とそのダイナミクスを明示的に表現する世界モデルを構築するための新しいパラダイムを紹介します。
リアルタイム フォトリアリズムの最先端の進歩をガウス スプラッティングおよび物理シミュレーターと統合することにより、DreMa と呼ばれる最初の組成操作ワールド モデルを提案します。
DreMa は、観察された世界とそのダイナミクスを再現し、オブジェクトの新しい構成を想像し、ロボットの動作の将来の結果を予測することを可能にします。
この機能を利用して、少数のデモンストレーションに等変変換を適用することで、模倣学習用の新しいデータを生成します。
さまざまな設定にわたる評価では、アクションとオブジェクトの分散を増やし、ポリシーの学習に必要なデータを削減し、エージェントの一般化を改善することにより、精度と堅牢性の両方が大幅に向上していることが実証されています。
ハイライトとして、DreMa の想像力を活用した本物の Franka Emika Panda ロボットが、タスクのバリエーションごとに 1 つの例から新しい物理的タスクを首尾よく学習 (ワンショット ポリシー学習) できることを示します。
私たちのプロジェクト ページとソース コードは https://leobarcellona.github.io/DreamToManipulate/ にあります。

要約(オリジナル)

A world model provides an agent with a representation of its environment, enabling it to predict the causal consequences of its actions. Current world models typically cannot directly and explicitly imitate the actual environment in front of a robot, often resulting in unrealistic behaviors and hallucinations that make them unsuitable for real-world applications. In this paper, we introduce a new paradigm for constructing world models that are explicit representations of the real world and its dynamics. By integrating cutting-edge advances in real-time photorealism with Gaussian Splatting and physics simulators, we propose the first compositional manipulation world model, which we call DreMa. DreMa replicates the observed world and its dynamics, allowing it to imagine novel configurations of objects and predict the future consequences of robot actions. We leverage this capability to generate new data for imitation learning by applying equivariant transformations to a small set of demonstrations. Our evaluations across various settings demonstrate significant improvements in both accuracy and robustness by incrementing actions and object distributions, reducing the data needed to learn a policy and improving the generalization of the agents. As a highlight, we show that a real Franka Emika Panda robot, powered by DreMa’s imagination, can successfully learn novel physical tasks from just a single example per task variation (one-shot policy learning). Our project page and source code can be found in https://leobarcellona.github.io/DreamToManipulate/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google