Object-Centric World Model for Language-Guided Manipulation

要約

エージェントが自律運転やロボット工学などのドメインで将来を予測し、計画することが不可欠です。
これを達成するために、最近の進歩はビデオ生成に焦点を当てており、拡散モデルの印象的な成功により大きな注目を集めています。
ただし、これらのモデルにはかなりの計算リソースが必要です。
これらの課題に対処するために、言語の指示に導かれたスロットの注意を使用して、オブジェクト中心の表現スペースを活用する世界モデルを提案します。
私たちのモデルは、現在の状態をオブジェクト中心の表現として認識し、自然言語の指示を条件とするこの表現空間で将来の状態を予測します。
このアプローチは、拡散ベースの生成的代替と比較して、よりコンパクトで計算効率の高いモデルになります。
さらに、言語の指示に基づいて将来の状態を柔軟に予測し、オブジェクトの認識が重要な操作タスクに大きな利点を提供します。
この論文では、私たちの潜在的な予測世界モデルが、視覚岩胞子モーター制御タスクの生成世界モデルを上回り、優れたサンプルと計算効率を達成することを実証します。
また、提案された方法の一般化パフォーマンスを調査し、オブジェクト中心の表現を使用してアクションを予測するためのさまざまな戦略を調査します。

要約(オリジナル)

A world model is essential for an agent to predict the future and plan in domains such as autonomous driving and robotics. To achieve this, recent advancements have focused on video generation, which has gained significant attention due to the impressive success of diffusion models. However, these models require substantial computational resources. To address these challenges, we propose a world model leveraging object-centric representation space using slot attention, guided by language instructions. Our model perceives the current state as an object-centric representation and predicts future states in this representation space conditioned on natural language instructions. This approach results in a more compact and computationally efficient model compared to diffusion-based generative alternatives. Furthermore, it flexibly predicts future states based on language instructions, and offers a significant advantage in manipulation tasks where object recognition is crucial. In this paper, we demonstrate that our latent predictive world model surpasses generative world models in visuo-linguo-motor control tasks, achieving superior sample and computation efficiency. We also investigate the generalization performance of the proposed method and explore various strategies for predicting actions using object-centric representations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google