TraceVLA: Visual Trace Prompting Enhances Spatial-Temporal Awareness for Generalist Robotic Policies

要約

大規模なロボットデータセットで前処理された大規模なビジョン言語アクション（VLA）モデルは、ロボット学習のための有望なジェネラリストポリシーを提供しますが、インタラクティブロボット工学の空間的ダイナミクスと格闘しており、操作などの複雑なタスクの処理にあまり効果的ではありません。
この作業では、視覚的なトレースプロンプトを紹介します。これは、状態アクション軌跡を視覚的にエンコードすることにより、VLAモデルのアクション予測に対する空間的意識を促進するためのシンプルで効果的なアプローチです。
視覚的なトレースプロンプトを使用して、150Kロボット操作軌跡の収集されたデータセットでOpenVLAを獲得することにより、新しいTraceVLAモデルを開発します。
SimplerEnvと4つのタスクでの137の構成にわたるTraceVLAの評価物理Widowxロボットの4つのタスクは、最先端のパフォーマンスを示し、SimpleRenvで10％、実質ロボットタスクで3.5倍になり、多様な具体的およびシナリオ全体にわたって堅牢な一般化を示します。
私たちの方法の有効性と一般性をさらに検証するために、4B PHI-3-visionに基づいたコンパクトなVLAモデルを提示し、オープンXエンボジメントで前処理され、データセットで微調整され、7B OpenVLAベースラインをライバルにしながら、耐用効率を大幅に改善します。

要約(オリジナル)

Although large vision-language-action (VLA) models pretrained on extensive robot datasets offer promising generalist policies for robotic learning, they still struggle with spatial-temporal dynamics in interactive robotics, making them less effective in handling complex tasks, such as manipulation. In this work, we introduce visual trace prompting, a simple yet effective approach to facilitate VLA models’ spatial-temporal awareness for action prediction by encoding state-action trajectories visually. We develop a new TraceVLA model by finetuning OpenVLA on our own collected dataset of 150K robot manipulation trajectories using visual trace prompting. Evaluations of TraceVLA across 137 configurations in SimplerEnv and 4 tasks on a physical WidowX robot demonstrate state-of-the-art performance, outperforming OpenVLA by 10% on SimplerEnv and 3.5x on real-robot tasks and exhibiting robust generalization across diverse embodiments and scenarios. To further validate the effectiveness and generality of our method, we present a compact VLA model based on 4B Phi-3-Vision, pretrained on the Open-X-Embodiment and finetuned on our dataset, rivals the 7B OpenVLA baseline while significantly improving inference efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google