World Modeling Makes a Better Planner: Dual Preference Optimization for Embodied Task Planning

要約

大規模な視覚言語モデル（LVLMS）の最近の進歩は、具体化されたタスク計画の可能性を示していますが、依存関係の制約や効率などの基本的な課題に苦労しています。
既存のアプローチは、アクション選択を最適化するか、推論中に世界モデルを活用して、計画機能を強化する方法として世界をモデル化することの利点を見落としています。
二重優先最適化（D $^2 $ PO）を提案します。これは、優先学習を通じて状態予測とアクションの選択を共同で最適化し、LVLMがより良い計画のために環境ダイナミクスを理解できるようにする新しい学習フレームワークです。
人間の注釈なしで軌道と段階的優先データを自動的に収集するために、試行錯誤を介して広範な探索のためのツリー検索メカニズムを導入します。
vota-benchでの広範な実験は、d $^2 $ POベースの方法が既存の方法を大幅に上回ることを示しています。QWEN2-VL（7b）、Llava-1.6（7b）、およびLlama-3.2（11b）に適用すると、GPT-4oはより効率的な実行パスで優れたタスクの成功率を達成します。

要約(オリジナル)

Recent advances in large vision-language models (LVLMs) have shown promise for embodied task planning, yet they struggle with fundamental challenges like dependency constraints and efficiency. Existing approaches either solely optimize action selection or leverage world models during inference, overlooking the benefits of learning to model the world as a way to enhance planning capabilities. We propose Dual Preference Optimization (D$^2$PO), a new learning framework that jointly optimizes state prediction and action selection through preference learning, enabling LVLMs to understand environment dynamics for better planning. To automatically collect trajectories and stepwise preference data without human annotation, we introduce a tree search mechanism for extensive exploration via trial-and-error. Extensive experiments on VoTa-Bench demonstrate that our D$^2$PO-based method significantly outperforms existing methods and GPT-4o when applied to Qwen2-VL (7B), LLaVA-1.6 (7B), and LLaMA-3.2 (11B), achieving superior task success rates with more efficient execution paths.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google