Imagine, Verify, Execute: Memory-Guided Agentic Exploration with Vision-Language Models

要約

特に密集した報酬、明示的な目標、またはタスク固有の監督が少ないオープンエンド環境では、一般的なロボット学習には探索が不可欠です。
オブジェクト、空間的関係、および潜在的な結果をめぐるセマンティックな推論を備えたビジョン言語モデル（VLM）は、高レベルの探索的行動を生成するための説得力のある基盤を提示します。
ただし、それらの出力はしばしば接地されていないため、想像上の移行が物理的に実現可能か有益であるかを判断することは困難です。
想像力と実行の間のギャップを埋めるために、人間の好奇心に触発されたエージェントの探索フレームワークであるIVE（想像、検証、実行）を提示します。
人間の探検は、多くの場合、新しいシーンの構成を発見し、環境の理解を深めるという欲求によって推進されます。
同様に、IVEはVLMをレバレッジしてRGB-Dの観察をセマンティックシーングラフに抽象化し、新しいシーンを想像し、物理的な妥当性を予測し、アクションツールを介して実行可能なスキルシーケンスを生成します。
シミュレートされた卓上環境と現実世界の両方の環境でIVEを評価します。
結果は、IVEがRLベースラインよりも多様で意味のある探索を可能にすることを示しています。
さらに、収集されたエクスペリエンスは、下流の学習をサポートし、人間が収集したデモンストレーションで訓練されたもののパフォーマンスに密接に一致するか、それを超えるポリシーを作成します。

要約(オリジナル)

Exploration is essential for general-purpose robotic learning, especially in open-ended environments where dense rewards, explicit goals, or task-specific supervision are scarce. Vision-language models (VLMs), with their semantic reasoning over objects, spatial relations, and potential outcomes, present a compelling foundation for generating high-level exploratory behaviors. However, their outputs are often ungrounded, making it difficult to determine whether imagined transitions are physically feasible or informative. To bridge the gap between imagination and execution, we present IVE (Imagine, Verify, Execute), an agentic exploration framework inspired by human curiosity. Human exploration is often driven by the desire to discover novel scene configurations and to deepen understanding of the environment. Similarly, IVE leverages VLMs to abstract RGB-D observations into semantic scene graphs, imagine novel scenes, predict their physical plausibility, and generate executable skill sequences through action tools. We evaluate IVE in both simulated and real-world tabletop environments. The results show that IVE enables more diverse and meaningful exploration than RL baselines, as evidenced by a 4.1 to 7.8x increase in the entropy of visited states. Moreover, the collected experience supports downstream learning, producing policies that closely match or exceed the performance of those trained on human-collected demonstrations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google