AVA: Attentive VLM Agent for Mastering StarCraft II

要約

人工エージェントの知覚を人間のゲームプレイエクスペリエンスに合わせるマルチモーダルスタークラフトIIエージェントであるAttentive VLM Agent（AVA）を紹介します。
SMACなどの従来のフレームワークは、人間の認識から大きく分岐する抽象的な状態表現に依存しており、エージェントの行動の生態学的妥当性を制限しています。
私たちのエージェントは、ゲームプレイ中に人間の認知プロセスをより密接にシミュレートするRGBの視覚入力と自然言語の観察を組み込むことにより、この制限に対処します。
AVAアーキテクチャは、3つの統合コンポーネントで構成されています。（1）戦略的単位ターゲティングと戦場評価のための特殊な自己触媒メカニズムで強化された視覚言語モデル、（2）ドメイン固有のStarcraft II知識を活用して、戦術的な決定を知らせます。
21のマルチモーダルスタークラフトIIシナリオを含む提案されているAvacraft環境での実験的評価は、AVAが基礎モデル（具体的にはQWEN-VLおよびGPT-4O）を搭載していることを示しています。
この作業は、人間に合わせたStarcraft IIエージェントを開発するための基盤を確立し、マルチモーダルゲームAIのより広範な研究アジェンダを進めています。
実装はhttps://github.com/camel-ai/vlm-play-starcraft2で入手できます。

要約(オリジナル)

We introduce Attentive VLM Agent (AVA), a multimodal StarCraft II agent that aligns artificial agent perception with the human gameplay experience. Traditional frameworks such as SMAC rely on abstract state representations that diverge significantly from human perception, limiting the ecological validity of agent behavior. Our agent addresses this limitation by incorporating RGB visual inputs and natural language observations that more closely simulate human cognitive processes during gameplay. The AVA architecture consists of three integrated components: (1) a vision-language model enhanced with specialized self-attention mechanisms for strategic unit targeting and battlefield assessment, (2) a retrieval-augmented generation system that leverages domain-specific StarCraft II knowledge to inform tactical decisions, and (3) a dynamic role-based task distribution system that enables coordinated multi-agent behavior. The experimental evaluation in our proposed AVACraft environment, which contains 21 multimodal StarCraft II scenarios, demonstrates that AVA powered by foundation models (specifically Qwen-VL and GPT-4o) can execute complex tactical maneuvers without explicit training, achieving comparable performance to traditional MARL methods that require substantial training iterations. This work establishes a foundation for developing human-aligned StarCraft II agents and advances the broader research agenda of multimodal game AI. Our implementation is available at https://github.com/camel-ai/VLM-Play-StarCraft2.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google