Vision Language Models are In-Context Value Learners

要約

視覚的な軌跡から時間的進行を予測することは、学習、適応、改善できるインテリジェント ロボットにとって重要です。
ただし、さまざまなタスクやドメインにわたってこのような進捗推定量、つまり時間的価値関数を学習するには、大量の多様なデータと、拡張性と一般化が可能な方法の両方が必要です。
これらの課題に対処するために、ビジョン言語モデル (VLM) に埋め込まれた世界の知識を活用してタスクの進捗を予測する普遍的価値関数推定ツールである生成価値学習 (\GVL) を紹介します。
単純に VLM にビデオ シーケンスの値を予測させると、連続するフレーム間の時間的相関が強いため、パフォーマンスが低下します。
代わりに、GVL は、シャッフルされたビデオ フレームに対する時間的な順序付けの問題として値の推定を提起します。
この一見より困難なタスクにより、VLM はその根底にある意味論的および時間的基盤機能をより完全に活用して、認識されたタスクの進行状況に基づいてフレームを区別し、その結果、大幅に優れた値の予測を生成するようになります。
ロボットやタスク固有のトレーニングを行わなくても、GVL は、困難な両手操作タスクを含む、さまざまなロボット プラットフォームにわたる 300 を超える異なる現実世界のタスクについて、コンテキスト内でゼロショットおよび少数ショットの実効値を予測できます。
さらに、GVL により、人間のビデオなどの異種タスクや実施形態からの例を介して、柔軟なマルチモーダルのコンテキスト内学習が可能になることを実証します。
GVL の汎用性により、モデルのトレーニングや微調整を必要とせずに、データセットのフィルタリング、成功検出、利点加重回帰などの視覚運動ポリシー学習に関連するさまざまなダウンストリーム アプリケーションが可能になります。

要約(オリジナル)

Predicting temporal progress from visual trajectories is important for intelligent robots that can learn, adapt, and improve. However, learning such progress estimator, or temporal value function, across different tasks and domains requires both a large amount of diverse data and methods which can scale and generalize. To address these challenges, we present Generative Value Learning (\GVL), a universal value function estimator that leverages the world knowledge embedded in vision-language models (VLMs) to predict task progress. Naively asking a VLM to predict values for a video sequence performs poorly due to the strong temporal correlation between successive frames. Instead, GVL poses value estimation as a temporal ordering problem over shuffled video frames; this seemingly more challenging task encourages VLMs to more fully exploit their underlying semantic and temporal grounding capabilities to differentiate frames based on their perceived task progress, consequently producing significantly better value predictions. Without any robot or task specific training, GVL can in-context zero-shot and few-shot predict effective values for more than 300 distinct real-world tasks across diverse robot platforms, including challenging bimanual manipulation tasks. Furthermore, we demonstrate that GVL permits flexible multi-modal in-context learning via examples from heterogeneous tasks and embodiments, such as human videos. The generality of GVL enables various downstream applications pertinent to visuomotor policy learning, including dataset filtering, success detection, and advantage-weighted regression — all without any model training or finetuning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google