Motion Before Action: Diffusing Object Motion as Manipulation Condition

要約

観察からオブジェクトの運動表現を推測すると、ロボット操作タスクのパフォーマンスが向上します。
本稿では、視覚観察から物体の動きを推論して動作シーケンスを生成する、ロボット模倣学習の新しいパラダイムを紹介します。
我々は、物体運動生成と物体運動誘導下でのロボット動作生成のための２つのカスケード拡散プロセスを採用する新しいモジュールであるMBA（Motion Before Action）を提案する。
MBA では、まず観察に基づいてオブジェクトの将来の姿勢シーケンスを予測し、次にこのシーケンスを条件として使用してロボットの動作生成をガイドします。
MBA はプラグアンドプレイ コンポーネントとして設計されており、拡散アクション ヘッドを使用して既存のロボット操作ポリシーに柔軟に統合できます。
シミュレートされた環境と現実世界の両方の環境での大規模な実験により、私たちのアプローチが幅広い操作タスクにわたって既存のポリシーのパフォーマンスを大幅に向上させることが実証されました。
プロジェクトページ：https://selen-suyue.github.io/MBApage/

要約(オリジナル)

Inferring object motion representations from observations enhances the performance of robotic manipulation tasks. This paper introduces a new paradigm for robot imitation learning that generates action sequences by reasoning about object motion from visual observations. We propose MBA (Motion Before Action), a novel module that employs two cascaded diffusion processes for object motion generation and robot action generation under object motion guidance. MBA first predicts the future pose sequence of the object based on observations, then uses this sequence as a condition to guide robot action generation. Designed as a plug-and-play component, MBA can be flexibly integrated into existing robotic manipulation policies with diffusion action heads. Extensive experiments in both simulated and real-world environments demonstrate that our approach substantially improves the performance of existing policies across a wide range of manipulation tasks. Project page: https://selen-suyue.github.io/MBApage/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google