Continuous Reinforcement Learning-based Dynamic Difficulty Adjustment in a Visual Working Memory Game

要約

動的難易度調整 (DDA) は、ビデオ ゲームにおけるプレーヤーのエクスペリエンスを向上させるための実行可能なアプローチです。
最近、強化学習 (RL) 手法が非競技ゲームの DDA に採用されています。
それにもかかわらず、それらは、小さな検索空間を備えた離散状態アクション空間のみに依存します。
この論文では、暗記の難しさに対する複雑な検索空間を処理するビジュアル ワーキング メモリ (VWM) ゲーム用の連続 RL ベースの DDA 方法論を提案します。
提案されている RL ベースの DDA は、最後のトライアルでのプレイヤーのスコアとゲームの難易度に基づいてゲームの難易度を調整します。
暗記の難しさの継続的な指標を定義しました。
次に、タスクの難易度を RL のアクション、難易度スコアのベクトルを RL の状態とみなします。
52 人の被験者を対象とした被験者内実験を通じて提案手法を評価した。
提案されたアプローチは、プレーヤーのスコアとアンケートによって測定されたゲーム体験の観点から、ルールベースの 2 つの難易度調整方法と比較されました。
提案された RL ベースのアプローチにより、能力、緊張、ネガティブな感情とポジティブな感情の点で、ゲーム エクスペリエンスが大幅に向上しました。
プレイヤーはより高いスコアと勝率も達成しました。
さらに、提案された RL ベースの DDA により、20 回の試行セッションでのスコアの低下が大幅に減少しました。

要約(オリジナル)

Dynamic Difficulty Adjustment (DDA) is a viable approach to enhance a player’s experience in video games. Recently, Reinforcement Learning (RL) methods have been employed for DDA in non-competitive games; nevertheless, they rely solely on discrete state-action space with a small search space. In this paper, we propose a continuous RL-based DDA methodology for a visual working memory (VWM) game to handle the complex search space for the difficulty of memorization. The proposed RL-based DDA tailors game difficulty based on the player’s score and game difficulty in the last trial. We defined a continuous metric for the difficulty of memorization. Then, we consider the task difficulty and the vector of difficulty-score as the RL’s action and state, respectively. We evaluated the proposed method through a within-subject experiment involving 52 subjects. The proposed approach was compared with two rule-based difficulty adjustment methods in terms of player’s score and game experience measured by a questionnaire. The proposed RL-based approach resulted in a significantly better game experience in terms of competence, tension, and negative and positive affect. Players also achieved higher scores and win rates. Furthermore, the proposed RL-based DDA led to a significantly less decline in the score in a 20-trial session.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google