Plotting Behind the Scenes: Towards Learnable Game Engines

要約

ニューラル ビデオ ゲーム シミュレーターは、ビデオを生成および編集するための強力なツールとして登場しました。
彼らのアイデアは、ゲームを、エージェントのアクションによって駆動される環境の状態の進化として表現することです。
このようなパラダイムにより、ユーザーはアクションごとにゲームをプレイできるようになりますが、その厳格さにより、よりセマンティックな形式の制御が不可能になります。
この制限を克服するために、自然言語アクションと望ましい状態のセットとして指定されたプロンプトを使用してゲーム モデルを拡張します。
その結果、プロンプタブル ゲーム モデル (PGM) によって、ユーザーは高レベルおよび低レベルのアクション シーケンスでプロンプトを表示することでゲームをプレイできるようになります。
最も魅力的なのは、PGM がディレクターズ モードのロックを解除し、プロンプトの形式でエージェントの目標を指定することによってゲームがプレイされることです。
これには、アニメーション モデルによってカプセル化された「ゲーム AI」を学習し、高レベルの制約を使用してシーンをナビゲートし、敵と対戦し、ポイントを獲得するための戦略を考案する必要があります。
結果の状態をレンダリングするには、合成モデルにカプセル化された組成 NeRF 表現を使用します。
将来の研究を促進するために、新しく収集され、注釈が付けられ、調整されたテニスとマインクラフトのデータセットを紹介します。
私たちの方法は、レンダリング品質の点で既存のニューラル ビデオ ゲーム シミュレーターを大幅に上回り、現在の最先端技術の能力を超えたアプリケーションを可能にします。
私たちのフレームワーク、データ、モデルは https://snap-research.github.io/promptable-game-models/ で入手できます。

要約(オリジナル)

Neural video game simulators emerged as powerful tools to generate and edit videos. Their idea is to represent games as the evolution of an environment’s state driven by the actions of its agents. While such a paradigm enables users to play a game action-by-action, its rigidity precludes more semantic forms of control. To overcome this limitation, we augment game models with prompts specified as a set of natural language actions and desired states. The result-a Promptable Game Model (PGM)-makes it possible for a user to play the game by prompting it with high- and low-level action sequences. Most captivatingly, our PGM unlocks the director’s mode, where the game is played by specifying goals for the agents in the form of a prompt. This requires learning ‘game AI’, encapsulated by our animation model, to navigate the scene using high-level constraints, play against an adversary, and devise a strategy to win a point. To render the resulting state, we use a compositional NeRF representation encapsulated in our synthesis model. To foster future research, we present newly collected, annotated and calibrated Tennis and Minecraft datasets. Our method significantly outperforms existing neural video game simulators in terms of rendering quality and unlocks applications beyond the capabilities of the current state of the art. Our framework, data, and models are available at https://snap-research.github.io/promptable-game-models/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google