VLA Model-Expert Collaboration for Bi-directional Manipulation Learning

要約

ビジョン言語アクション（VLA）モデルの出現により、ロボット操作の基礎モデルが生まれました。
これらのモデルは大幅な改善を達成しましたが、マルチタスク操作の一般化は依然として限られています。
この研究では、VLAモデルのパフォーマンスを向上させるために限られた数の専門家のアクションを活用するVLAモデルと専門家のコラボレーションフレームワークを提案しています。
このアプローチは、手動操作と比較して専門家のワークロードを減らし、同時にVLAモデルの信頼性と一般化を改善します。
さらに、コラボレーション中に収集された操作データはVLAモデルをさらに改善することができ、人間の参加者はスキルを同時に強化します。
この双方向学習ループは、コラボレーションシステムの全体的なパフォーマンスを高めます。
さまざまなVLAモデルにわたる実験結果は、タスク全体の成功率の改善によって証明されるように、共同操作と学習における提案されたシステムの有効性を示しています。
さらに、Brain-Computer Interface（BCI）を使用した検証は、コラボレーションシステムが操作中にVLAモデルを関与させることにより、低速アクションシステムの効率を高めることを示しています。
これらの有望な結果は、ロボット工学の基礎モデルの時代における人間とロボットの相互作用を進める方法を開きます。
（プロジェクトWebサイト：https：//aoqunjin.github.io/expert-vla/）

要約(オリジナル)

The emergence of vision-language-action (VLA) models has given rise to foundation models for robot manipulation. Although these models have achieved significant improvements, their generalization in multi-task manipulation remains limited. This study proposes a VLA model-expert collaboration framework that leverages a limited number of expert actions to enhance VLA model performance. This approach reduces expert workload relative to manual operation while simultaneously improving the reliability and generalization of VLA models. Furthermore, manipulation data collected during collaboration can further refine the VLA model, while human participants concurrently enhance their skills. This bi-directional learning loop boosts the overall performance of the collaboration system. Experimental results across various VLA models demonstrate the effectiveness of the proposed system in collaborative manipulation and learning, as evidenced by improved success rates across tasks. Additionally, validation using a brain-computer interface (BCI) indicates that the collaboration system enhances the efficiency of low-speed action systems by involving VLA model during manipulation. These promising results pave the way for advancing human-robot interaction in the era of foundation models for robotics. (Project website: https://aoqunjin.github.io/Expert-VLA/)

arxiv情報

提供元, 利用サービス

arxiv.jp, Google