ObjectVLA: End-to-End Open-World Object Manipulation Without Demonstration

要約

模倣学習は、ロボットの器用な操作スキルを教えるのに非常に効果的であることが証明されています。
ただし、通常、大量の人間のデモデータに依存しているため、動的で実世界の環境でのスケーラビリティと適用性が制限されます。
このコンテキストでの重要な課題の1つは、オブジェクトの一般化です。ロボットは、「リンゴを渡す」などの1つのオブジェクトを使用してタスクを実行するように訓練されているため、スキルを「ピーチを渡す」などの意味的に類似しているが視覚的に異なるオブジェクトに転送するのに苦労しています。
同じカテゴリのものを超えた新しいオブジェクトへの一般化のこのギャップは、エンドツーエンドの視覚運動ポリシー学習に関する以前の作業ではまだ適切に対処されていません。
このホワイトペーパーでは、\ textBf {objectVla}と呼ばれるVision-Language-active（VLA）モデルを通じてオブジェクトの一般化を達成するためのシンプルで効果的なアプローチを紹介します。
私たちのモデルにより、ロボットは、新しいターゲットオブジェクトごとに明示的な人間のデモを必要とせずに、学習スキルを新しいオブジェクトに一般化することができます。
ビジョン言語ペアデータを活用することにより、この方法は、ターゲットオブジェクトに関する知識を注入するための軽量でスケーラブルな方法を提供し、オブジェクトと目的のアクションの間に暗黙のリンクを確立します。
実際のロボットプラットフォームでObjectVlaを評価し、トレーニング中に見られないオブジェクトを選択する際に64 \％の成功率で100の新しいオブジェクトを介して一般化する能力を実証します。
さらに、スマートフォンを使用していくつかの画像をキャプチャし、事前に訓練されたモデルを微調整するために、VLAモデルのオブジェクトの一般化を強化するためのよりアクセスしやすい方法を提案します。
これらの結果は、オブジェクトレベルの一般化を可能にし、広範な人間のデモンストレーションの必要性を減らすためのアプローチの有効性を強調し、より柔軟でスケーラブルなロボット学習システムへの道を開きます。

要約(オリジナル)

Imitation learning has proven to be highly effective in teaching robots dexterous manipulation skills. However, it typically relies on large amounts of human demonstration data, which limits its scalability and applicability in dynamic, real-world environments. One key challenge in this context is object generalization, where a robot trained to perform a task with one object, such as ‘hand over the apple,’ struggles to transfer its skills to a semantically similar but visually different object, such as ‘hand over the peach.’ This gap in generalization to new objects beyond those in the same category has yet to be adequately addressed in previous work on end-to-end visuomotor policy learning. In this paper, we present a simple yet effective approach for achieving object generalization through Vision-Language-Action (VLA) models, referred to as \textbf{ObjectVLA}. Our model enables robots to generalize learned skills to novel objects without requiring explicit human demonstrations for each new target object. By leveraging vision-language pair data, our method provides a lightweight and scalable way to inject knowledge about the target object, establishing an implicit link between the object and the desired action. We evaluate ObjectVLA on a real robotic platform, demonstrating its ability to generalize across 100 novel objects with a 64\% success rate in selecting objects not seen during training. Furthermore, we propose a more accessible method for enhancing object generalization in VLA models, using a smartphone to capture a few images and fine-tune the pre-trained model. These results highlight the effectiveness of our approach in enabling object-level generalization and reducing the need for extensive human demonstrations, paving the way for more flexible and scalable robotic learning systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google