ChatVLA: Unified Multimodal Understanding and Robot Control with Vision-Language-Action Model

要約

人間は、物理的な世界を認識し、理解し、相互作用する統一された認知能力を持っています。
なぜ大規模な言語モデルがこの全体的な理解を再現できないのですか？
ビジョン言語アクションモデル（VLA）における既存のトレーニングパラダイムの体系的な分析を通じて、2つの重要な課題を特定します。ロボットトレーニングが重要な視覚テキストアラインメントを上書きする偽の忘却と、タスクの干渉を競うタスク干渉パフォーマンスの低下と理解を理解する
共同で訓練されたとき。
これらの制限を克服するために、初期制御の習得後にマルチモーダルデータを段階的に統合する段階的なアライメントトレーニングを特徴とする新しいフレームワークと、タスクの干渉を最小限に抑えるための専門家アーキテクチャを段階的に統合するChatVlaを提案します。
CHATVLAは、視覚的な質問アンウェーデータセットで競争力のあるパフォーマンスを発揮し、マルチモーダル理解ベンチマークで最先端のビジョン言語アクション（VLA）メソッドを大幅に上回ります。
特に、MMMUで6倍高いパフォーマンスを達成し、ECOTよりもパラメーター効率の高い設計でMMStarで47.2％を獲得します。
さらに、CHATVLAは、OpenVLAなどの既存のVLAメソッドと比較して、25の実際のロボット操作タスクで優れたパフォーマンスを示しています。
私たちの調査結果は、堅牢なマルチモーダル理解と効果的なロボット制御の両方を達成するための統一されたフレームワークの可能性を強調しています。

要約(オリジナル)

Humans possess a unified cognitive ability to perceive, comprehend, and interact with the physical world. Why can’t large language models replicate this holistic understanding? Through a systematic analysis of existing training paradigms in vision-language-action models (VLA), we identify two key challenges: spurious forgetting, where robot training overwrites crucial visual-text alignments, and task interference, where competing control and understanding tasks degrade performance when trained jointly. To overcome these limitations, we propose ChatVLA, a novel framework featuring Phased Alignment Training, which incrementally integrates multimodal data after initial control mastery, and a Mixture-of-Experts architecture to minimize task interference. ChatVLA demonstrates competitive performance on visual question-answering datasets and significantly surpasses state-of-the-art vision-language-action (VLA) methods on multimodal understanding benchmarks. Notably, it achieves a six times higher performance on MMMU and scores 47.2% on MMStar with a more parameter-efficient design than ECoT. Furthermore, ChatVLA demonstrates superior performance on 25 real-world robot manipulation tasks compared to existing VLA methods like OpenVLA. Our findings highlight the potential of our unified framework for achieving both robust multimodal understanding and effective robot control.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google