FLIP: Flow-Centric Generative Planning for General-Purpose Manipulation Tasks

要約

私たちは、言語と視覚の入力だけで汎用操作タスクを行うためのモデルとデータの予算の増加に応じて拡張できる、ワールド モデルのためのモデルベースの計画フレームワークを開発することを目指しています。
この目的を達成するために、我々は、3 つの主要なモジュールを特徴とする視覚空間上のモデルベースの計画アルゴリズムである FLow 中心生成計画 (FLIP) を紹介します。 1. 汎用アクション提案モジュールとしてのマルチモーダル フロー生成モデル。
2. ダイナミクスモジュールとしてのフロー条件付きビデオ生成モデル。
3. 価値モジュールとしての視覚言語表現学習モデル。
最初の画像と言語の指示を目標として与えると、FLIP は、タスクを達成するために割引収益を最大化する長期的なフローとビデオの計画を段階的に検索できます。
FLIP は、一般的なアクション表現として画像フローを使用して、オブジェクト、ロボット、およびタスクにわたる長期計画を合成できます。また、高密度のフロー情報は、長期ビデオ生成のための豊富なガイダンスも提供します。
さらに、合成されたフローおよびビデオ プランは、ロボット実行のための低レベルの制御ポリシーのトレーニングをガイドできます。
さまざまなベンチマークの実験により、FLIP が長期ビデオ プラン合成の成功率と品質の両方を向上させることができ、インタラクティブなワールド モデルの特性があり、将来の作業に幅広い用途が開かれることが実証されました。

要約(オリジナル)

We aim to develop a model-based planning framework for world models that can be scaled with increasing model and data budgets for general-purpose manipulation tasks with only language and vision inputs. To this end, we present FLow-centric generative Planning (FLIP), a model-based planning algorithm on visual space that features three key modules: 1. a multi-modal flow generation model as the general-purpose action proposal module; 2. a flow-conditioned video generation model as the dynamics module; and 3. a vision-language representation learning model as the value module. Given an initial image and language instruction as the goal, FLIP can progressively search for long-horizon flow and video plans that maximize the discounted return to accomplish the task. FLIP is able to synthesize long-horizon plans across objects, robots, and tasks with image flows as the general action representation, and the dense flow information also provides rich guidance for long-horizon video generation. In addition, the synthesized flow and video plans can guide the training of low-level control policies for robot execution. Experiments on diverse benchmarks demonstrate that FLIP can improve both the success rates and quality of long-horizon video plan synthesis and has the interactive world model property, opening up wider applications for future works.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google