CombatVLA: An Efficient Vision-Language-Action Model for Combat Tasks in 3D Action Role-Playing Games

要約

ビジョン言語アクションモデル（VLA）の最近の進歩により、具体化された知性の能力が拡大しました。
ただし、複雑な3D環境でのリアルタイムの意思決定には大きな課題が残っており、動的な条件下での第2レベルの応答、高解像度の認識、戦術的推論が必要です。
フィールドを進めるために、3Dアクションロールプレイングゲーム（ARPG）の戦闘タスクに最適化された効率的なVLAモデルであるCombatVLAを導入します。
具体的には、当社のcombatVLAは、アクショントラッカーによって収集されたビデオアクションペアでトレーニングされた3Bモデルであり、データは思考アクション（AOT）シーケンスとしてフォーマットされています。
その後、CombatVLAはアクション実行フレームワークにシームレスに統合され、切り捨てられたAOT戦略を通じて効率的な推論が可能になります。
実験結果は、CombatVLAが戦闘理解ベンチマーク上のすべての既存のモデルを上回るだけでなく、ゲーム戦闘で50倍の加速を達成することを示しています。
さらに、人間のプレイヤーよりもタスクの成功率が高くなっています。
アクショントラッカー、データセット、ベンチマーク、モデルの重み、トレーニングコード、https：//combatvla.github.io/のフレームワークの実装など、すべてのリソースをオープンソーシングします。

要約(オリジナル)

Recent advances in Vision-Language-Action models (VLAs) have expanded the capabilities of embodied intelligence. However, significant challenges remain in real-time decision-making in complex 3D environments, which demand second-level responses, high-resolution perception, and tactical reasoning under dynamic conditions. To advance the field, we introduce CombatVLA, an efficient VLA model optimized for combat tasks in 3D action role-playing games(ARPGs). Specifically, our CombatVLA is a 3B model trained on video-action pairs collected by an action tracker, where the data is formatted as action-of-thought (AoT) sequences. Thereafter, CombatVLA seamlessly integrates into an action execution framework, allowing efficient inference through our truncated AoT strategy. Experimental results demonstrate that CombatVLA not only outperforms all existing models on the combat understanding benchmark but also achieves a 50-fold acceleration in game combat. Moreover, it has a higher task success rate than human players. We will open-source all resources, including the action tracker, dataset, benchmark, model weights, training code, and the implementation of the framework at https://combatvla.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google