Symbolically-Guided Visual Plan Inference from Uncurated Video Data

要約

視覚的計画は、目標条件付けされた低レベルのポリシーに一連の中間視覚サブゴールを提供することにより、長期操作タスクで有望なパフォーマンスを達成します。
サブゴールを取得するために、既存の方法は通常、ビデオ生成モデルに頼りますが、モデルの幻覚と計算コストに悩まされます。
象徴的なガイダンスを搭載した、効率的で説明可能なホワイトボックスの視覚計画フレームワークであるVis2Planを紹介します。
RAWの非標識プレイデータから、Vis2PlanはVision Foundationモデルをハーネスして、コンパクトなタスクシンボルを自動的に抽出します。
テスト時に、目的のタスク目標を考慮して、プランナーはシンボリックレベルで計画を実施し、基礎となるシンボリック表現に基づいた物理的に一貫した中間サブゴール画像のシーケンスを集めます。
Vis2Planは、Visual Plans 35 $ \ Times $をより速く生成しながら、実際のロボット設定で53％高い総計成功率を提供することにより、強力な拡散ビデオ生成ベースのビジュアルプランナーよりも優れています。
結果は、vis2planが完全に検査可能な推論ステップを提供しながら、物理的に一貫した画像目標を生成できることを示しています。

要約(オリジナル)

Visual planning, by offering a sequence of intermediate visual subgoals to a goal-conditioned low-level policy, achieves promising performance on long-horizon manipulation tasks. To obtain the subgoals, existing methods typically resort to video generation models but suffer from model hallucination and computational cost. We present Vis2Plan, an efficient, explainable and white-box visual planning framework powered by symbolic guidance. From raw, unlabeled play data, Vis2Plan harnesses vision foundation models to automatically extract a compact set of task symbols, which allows building a high-level symbolic transition graph for multi-goal, multi-stage planning. At test time, given a desired task goal, our planner conducts planning at the symbolic level and assembles a sequence of physically consistent intermediate sub-goal images grounded by the underlying symbolic representation. Our Vis2Plan outperforms strong diffusion video generation-based visual planners by delivering 53\% higher aggregate success rate in real robot settings while generating visual plans 35$\times$ faster. The results indicate that Vis2Plan is able to generate physically consistent image goals while offering fully inspectable reasoning steps.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google