Simulation-Driven Balancing of Competitive Game Levels with Reinforcement Learning

要約

競争力のある2プレイヤーコンテキストでのゲームレベルのバランスプロセスには、特に非対称ゲームレベルの多くの手動作業とテストが含まれます。
この作業では、ゲームゲームのバランスをとり、PCGRLフレームワーク内でタイルベースのレベルの自動バランスをとるためのアーキテクチャを提案します（補強学習を介した手続きコンテンツ生成）。
私たちのアーキテクチャは、（1）レベルジェネレーター、（2）バランシングエージェント、および（3）報酬モデリングシミュレーションの3つの部分に分割されます。
繰り返しのシミュレーションを通じて、バランスエージェントは、すべてのプレーヤーの平等な勝利など、特定のバランスの目的に向けてレベルを調整するための報酬を受け取ります。
この目的のために、プレイ可能性の堅牢性を改善するための新しいスワップベースの表現を提案し、それにより、従来のPCGRLと比較して、エージェントがゲームレベルをより効果的かつ迅速にバランスをとることができます。
エージェントのスワッピング動作を分析することにより、どのタイルタイプがバランスに最も影響を与えるかを推測できます。
競争力のある2プレイヤーシナリオで、ニューラルMMO（NMMO）環境でのアプローチを検証します。
この拡張された会議用紙では、改善された結果を提示し、方法の適用性を、平等のバランスを越えてバランスをとるさまざまな形態のバランスへの適用性を調査し、パフォーマンスを別の検索ベースのアプローチと比較し、既存の公平性メトリックの適用をゲームバランスに議論します。

要約(オリジナル)

The balancing process for game levels in competitive two-player contexts involves a lot of manual work and testing, particularly for non-symmetrical game levels. In this work, we frame game balancing as a procedural content generation task and propose an architecture for automatically balancing of tile-based levels within the PCGRL framework (procedural content generation via reinforcement learning). Our architecture is divided into three parts: (1) a level generator, (2) a balancing agent, and (3) a reward modeling simulation. Through repeated simulations, the balancing agent receives rewards for adjusting the level towards a given balancing objective, such as equal win rates for all players. To this end, we propose new swap-based representations to improve the robustness of playability, thereby enabling agents to balance game levels more effectively and quickly compared to traditional PCGRL. By analyzing the agent’s swapping behavior, we can infer which tile types have the most impact on the balance. We validate our approach in the Neural MMO (NMMO) environment in a competitive two-player scenario. In this extended conference paper, we present improved results, explore the applicability of the method to various forms of balancing beyond equal balancing, compare the performance to another search-based approach, and discuss the application of existing fairness metrics to game balancing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google