要約
生成型ゲーム エンジンは、新しいコンテンツを自律的に作成し、手動の作業負荷を軽減することで、ゲーム開発に革命を起こす可能性があります。
しかし、既存のビデオベースのゲーム生成方法は、シーンの一般化という重要な課題に対処できず、固定スタイルとシーンを持つ既存のゲームへの適用が制限されています。
このペーパーでは、ゲーム ビデオ生成におけるシーンの一般化の探索に焦点を当てたフレームワークである GameFactory を紹介します。
まったく新しい多様なゲームの作成を可能にするために、オープンドメインのビデオ データでトレーニングされた事前トレーニング済みビデオ拡散モデルを活用します。
オープンドメインの事前分布と小規模ゲーム データセットの間のドメイン ギャップを埋めるために、ゲーム スタイルの学習をアクション制御から切り離し、アクションの制御性を達成しながらオープンドメインの一般化を維持する多フェーズ トレーニング戦略を提案します。
Minecraft をデータ ソースとして使用し、研究用の高品質で多様性のあるアクション注釈付きビデオ データセットである GF-Minecraft をリリースします。
さらに、フレームワークを拡張して、自己回帰アクション制御可能なゲーム ビデオ生成を可能にし、長さ無制限のインタラクティブ ゲーム ビデオの制作を可能にします。
実験結果は、GameFactory がオープンドメインで多様なアクション制御可能なゲーム ビデオを効果的に生成し、AI 主導のゲーム生成における重要な前進を示していることを示しています。
データセットとプロジェクト ページは \url{https://vvictoryuki.github.io/gamefactory/} で公開されています。
要約(オリジナル)
Generative game engines have the potential to revolutionize game development by autonomously creating new content and reducing manual workload. However, existing video-based game generation methods fail to address the critical challenge of scene generalization, limiting their applicability to existing games with fixed styles and scenes. In this paper, we present GameFactory, a framework focused on exploring scene generalization in game video generation. To enable the creation of entirely new and diverse games, we leverage pre-trained video diffusion models trained on open-domain video data. To bridge the domain gap between open-domain priors and small-scale game dataset, we propose a multi-phase training strategy that decouples game style learning from action control, preserving open-domain generalization while achieving action controllability. Using Minecraft as our data source, we release GF-Minecraft, a high-quality and diversity action-annotated video dataset for research. Furthermore, we extend our framework to enable autoregressive action-controllable game video generation, allowing the production of unlimited-length interactive game videos. Experimental results demonstrate that GameFactory effectively generates open-domain, diverse, and action-controllable game videos, representing a significant step forward in AI-driven game generation. Our dataset and project page are publicly available at \url{https://vvictoryuki.github.io/gamefactory/}.
arxiv情報
著者 | Jiwen Yu,Yiran Qin,Xintao Wang,Pengfei Wan,Di Zhang,Xihui Liu |
発行日 | 2025-01-14 18:57:21+00:00 |
arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google