Level Assembly as a Markov Decision Process

要約

タイトル- マルコフ決定過程としてのレベルアセンブリ
要約- 多くのゲームは、プレイヤーに適応しないレベルの進行を特徴としています。これは、進行が難しすぎる場合に一部のプレイヤーが行き詰まる可能性がある一方で、進行が遅すぎる場合には、より挑戦的なレベルに到達するために退屈に感じるプレイヤーがいるため、問題があります。これに対処するには、プレイヤーのパフォーマンスや嗜好に基づいてレベルを構築することができます。今回は、プレイヤー向けのレベル生成問題をマルコフ決定過程（MDP）として定式化し、アダプティブダイナミックプログラミング（ADP）を使用してMDPを解決してからレベルを組み立てることを提案します。2つのケーススタディでテストし、ADPを使用すると2つのベースラインを上回る結果を得たことを確認しました。さらに、プレイヤープロキシで実験を行い、プレイ中にプロキシを切り替えた結果、ADPを実行する前の単純な変更により、迅速な適応が可能であることを示しました。ADPを使用することで、全体のMDPを検索することができ、プレイヤーに適応する動的なレベル進行を生み出します。

要点：
– 多くのゲームは、プレーヤーに適応しないレベルの進行を特徴としています。
– レベル生成問題をマルコフ決定過程（MDP）として定式化し、アダプティブダイナミックプログラミング（ADP）を使用してMDPを解決してからレベルを組み立てることを提案します。
– 2つのケーススタディでテストし、ADPを使用すると2つのベースラインを上回る結果を得たことを確認しました。
– プレイヤープロキシで実験を行い、プレイ中にプロキシを切り替えた結果、ADPを実行する前の単純な変更により、迅速な適応が可能であることを示しました。
– ADPを使用することで、全体のMDPを検索することができ、プレイヤーに適応する動的なレベル進行を生み出します。

要約(オリジナル)

Many games feature a progression of levels that doesn’t adapt to the player. This can be problematic because some players may get stuck if the progression is too difficult, while others may find it boring if the progression is too slow to get to more challenging levels. This can be addressed by building levels based on the player’s performance and preferences. In this work, we formulate the problem of generating levels for a player as a Markov Decision Process (MDP) and use adaptive dynamic programming (ADP) to solve the MDP before assembling a level. We tested with two case studies and found that using an ADP outperforms two baselines. Furthermore, we experimented with player proxies and switched them in the middle of play, and we show that a simple modification prior to running ADP results in quick adaptation. By using ADP, which searches the entire MDP, we produce a dynamic progression of levels that adapts to the player.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI