Action valuation of on- and off-ball soccer players based on multi-agent deep reinforcement learning

要約

サッカーのような侵襲的なスポーツの解析は、試合状況が時間的・空間的に連続的に変化し、複数のエージェントが個別に試合状況を認識して意思決定を行うため、困難である。これまでの深層強化学習を用いた研究では、チームを単一のエージェントとみなし、離散的なイベントごとにボールを保持するチームと選手を評価することが多かった。それでは、時空間的に連続な状態空間において、ボールから遠い選手を含む複数の選手の行動を評価することは困難であった。本論文では、マルチエージェント深層強化学習に基づき、ボールを持っているサッカー選手とボールを持っていないサッカー選手の可能な行動を一つの全体的な枠組みで評価する手法を提案する。Google研究のサッカーを模倣した連続状態空間における離散行動空間を考慮し、強化学習における行動に対する教師あり学習を活用する。実験では、従来の指標、シーズンゴール、専門家による試合評価との関係を分析し、提案手法の有効性を示した。本手法は、離散化やラベル付けが困難であるが、チームワークやスカウティング、ファンとのエンゲージメントに不可欠な、試合中の複数の選手の連続的な動きを評価することができる。

要約(オリジナル)

Analysis of invasive sports such as soccer is challenging because the game situation changes continuously in time and space, and multiple agents individually recognize the game situation and make decisions. Previous studies using deep reinforcement learning have often considered teams as a single agent and valued the teams and players who hold the ball in each discrete event. Then it was challenging to value the actions of multiple players, including players far from the ball, in a spatiotemporally continuous state space. In this paper, we propose a method of valuing possible actions for on- and off-ball soccer players in a single holistic framework based on multi-agent deep reinforcement learning. We consider a discrete action space in a continuous state space that mimics that of Google research football and leverages supervised learning for actions in reinforcement learning. In the experiment, we analyzed the relationships with conventional indicators, season goals, and game ratings by experts, and showed the effectiveness of the proposed method. Our approach can assess how multiple players move continuously throughout the game, which is difficult to be discretized or labeled but vital for teamwork, scouting, and fan engagement.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL