Reward Function Design for Crowd Simulation via Reinforcement Learning

要約

群集シミュレーションは、人間のような方法で移動する自律型アバターを仮想世界に配置できるため、ビデオ ゲームの設計にとって重要です。
強化学習は仮想群衆のシミュレーションにおいて大きな可能性を示していますが、効果的かつ効率的な結果を達成するには報酬関数の設計が重要です。
この研究では、強化学習ベースの群衆シミュレーションのための報酬関数の設計を検討します。
私たちは、特定の報酬関数の妥当性について、その分析特性に従って理論的な洞察を提供し、エネルギー効率を指標としてさまざまなシナリオを使用して経験的に評価します。
私たちの実験は、エネルギー使用量を直接最小限に抑えることが、適切にスケールされた誘導ポテンシャルと組み合わせられている限り実行可能な戦略であることを示しており、シミュレートされた群衆の行動に対するさまざまな報酬要素の影響を研究できるようになります。
私たちの発見は、新しい群衆シミュレーション技術の開発に情報を提供し、人間のようなナビゲーションの広範な研究に貢献することができます。

要約(オリジナル)

Crowd simulation is important for video-games design, since it enables to populate virtual worlds with autonomous avatars that navigate in a human-like manner. Reinforcement learning has shown great potential in simulating virtual crowds, but the design of the reward function is critical to achieving effective and efficient results. In this work, we explore the design of reward functions for reinforcement learning-based crowd simulation. We provide theoretical insights on the validity of certain reward functions according to their analytical properties, and evaluate them empirically using a range of scenarios, using the energy efficiency as the metric. Our experiments show that directly minimizing the energy usage is a viable strategy as long as it is paired with an appropriately scaled guiding potential, and enable us to study the impact of the different reward components on the behavior of the simulated crowd. Our findings can inform the development of new crowd simulation techniques, and contribute to the wider study of human-like navigation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google