Towards Generalist Robot Policies: What Matters in Building Vision-Language-Action Models

要約

Foundation Vision Language Models (VLM) は、マルチモーダル表現の学習、理解、推論において強力な機能を発揮します。
アクション コンポーネントを VLM に注入することにより、ビジョン-言語-アクション モデル (VLA) が自然に形成され、有望なパフォーマンスも発揮されます。
既存の研究では、複数のシナリオやタスクにおける VLA の有効性と一般化が実証されています。
それにもかかわらず、既存の VLA はバックボーン、行動予測の定式化、データ配布、トレーニング レシピが異なるため、VLM から VLA への移行は簡単ではありません。
これは、VLA の設計選択を体系的に理解するための欠落部分につながります。
この研究では、VLA のパフォーマンスに大きな影響を与える重要な要素を明らかにし、どのバックボーンを選択するか、VLA アーキテクチャをどのように定式化するか、いつクロス実施形態データを追加するかという 3 つの重要な設計上の選択に答えることに焦点を当てます。
得られた結果は、VLA が必要な理由を説明し、手作業による設計をほとんど必要とせず、3 つのシミュレーション タスクと実際の実験で新しい最先端のパフォーマンスを達成する新しい VLA ファミリである RoboVLM を開発することを強く確信させます。
8 つを超える VLM バックボーン、4 つのポリシー アーキテクチャ、および 600 を超える個別に設計された実験を含む広範な実験を通じて、VLA の将来の設計のための詳細なガイドブックを提供します。
研究に加えて、将来の研究を促進するために、新しい VLM の簡単な統合とさまざまな設計選択肢の自由な組み合わせをサポートする、柔軟性の高い RoboVLM フレームワークが公開されます。
コード、モデル、データセット、ツールキットを含むすべての詳細と、詳細なトレーニングと評価のレシピを robovlms.github.io でオープンソースします。

要約(オリジナル)

Foundation Vision Language Models (VLMs) exhibit strong capabilities in multi-modal representation learning, comprehension, and reasoning. By injecting action components into the VLMs, Vision-Language-Action Models (VLAs) can be naturally formed and also show promising performance. Existing work has demonstrated the effectiveness and generalization of VLAs in multiple scenarios and tasks. Nevertheless, the transfer from VLMs to VLAs is not trivial since existing VLAs differ in their backbones, action-prediction formulations, data distributions, and training recipes. This leads to a missing piece for a systematic understanding of the design choices of VLAs. In this work, we disclose the key factors that significantly influence the performance of VLA and focus on answering three essential design choices: which backbone to select, how to formulate the VLA architectures, and when to add cross-embodiment data. The obtained results convince us firmly to explain why we need VLA and develop a new family of VLAs, RoboVLMs, which require very few manual designs and achieve a new state-of-the-art performance in three simulation tasks and real-world experiments. Through our extensive experiments, which include over 8 VLM backbones, 4 policy architectures, and over 600 distinct designed experiments, we provide a detailed guidebook for the future design of VLAs. In addition to the study, the highly flexible RoboVLMs framework, which supports easy integrations of new VLMs and free combinations of various design choices, is made public to facilitate future research. We open-source all details, including codes, models, datasets, and toolkits, along with detailed training and evaluation recipes at: robovlms.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google