Agents Play Thousands of 3D Video Games

要約

言語誘導ポリシー生成を通じて何千もの3Dビデオゲームをプレイできる人工知能エージェントを開発するための新しいフレームワークであるPortalを提示します。
意思決定の問題を言語モデリングタスクに変換することにより、私たちのアプローチは大きな言語モデル（LLM）を活用して、ドメイン固有の言語（DSL）で表される動作ツリーを生成します。
この方法は、戦略的な深さと迅速な適応性を維持しながら、従来の強化学習アプローチに関連する計算負担を排除します。
私たちのフレームワークでは、ルールベースのノードとニューラルネットワークコンポーネントを組み合わせたハイブリッドポリシー構造を導入し、高レベルの戦略的推論と正確な低レベル制御の両方を可能にします。
定量的ゲームメトリックとビジョン言語モデル分析を組み込んだデュアルフィードバックメカニズムは、戦術レベルと戦略的レベルの両方で反復的なポリシーの改善を促進します。
結果として生じるポリシーは、即座に展開可能で、人間が解釈でき、多様なゲーム環境全体に一般化することができます。
実験結果は、数千の一人称シューティングゲーム（FPS）ゲームにわたるポータルの有効性を示しており、従来のアプローチと比較した開発効率、政策一般化、行動の多様性の大幅な改善を示しています。
ポータルは、ゲームAI開発の大幅な進歩を表しており、最小限の開発オーバーヘッドで数千の商業ビデオゲームで動作できる洗練されたエージェントを作成するための実用的なソリューションを提供します。
3Dビデオゲームの実験結果は、https：//zhongwen.one/projects/portalで最もよく見ることができます。

要約(オリジナル)

We present PORTAL, a novel framework for developing artificial intelligence agents capable of playing thousands of 3D video games through language-guided policy generation. By transforming decision-making problems into language modeling tasks, our approach leverages large language models (LLMs) to generate behavior trees represented in domain-specific language (DSL). This method eliminates the computational burden associated with traditional reinforcement learning approaches while preserving strategic depth and rapid adaptability. Our framework introduces a hybrid policy structure that combines rule-based nodes with neural network components, enabling both high-level strategic reasoning and precise low-level control. A dual-feedback mechanism incorporating quantitative game metrics and vision-language model analysis facilitates iterative policy improvement at both tactical and strategic levels. The resulting policies are instantaneously deployable, human-interpretable, and capable of generalizing across diverse gaming environments. Experimental results demonstrate PORTAL’s effectiveness across thousands of first-person shooter (FPS) games, showcasing significant improvements in development efficiency, policy generalization, and behavior diversity compared to traditional approaches. PORTAL represents a significant advancement in game AI development, offering a practical solution for creating sophisticated agents that can operate across thousands of commercial video games with minimal development overhead. Experiment results on the 3D video games are best viewed on https://zhongwen.one/projects/portal .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google