Deep Generative Multi-Agent Imitation Model as a Computational Benchmark for Evaluating Human Performance in Complex Interactive Tasks: A Case Study in Football

要約

人間のパフォーマンスを評価することは、エンジニアリングやスポーツなど、多くのアプリケーションで共通のニーズです。
複雑でインタラクティブなタスクを完了する際の人間のパフォーマンスを評価する場合、最も一般的な方法は、そのコンテキストで効率的であることが証明されているメトリックを使用するか、主観的な測定手法を使用することです。
ただし、これはエラーが発生しやすく、信頼性の低いプロセスになる可能性があります。これは、静的メトリックでは、そのようなタスクに関連するすべての複雑なコンテキストを把握できず、主観的な測定にバイアスが存在するためです。
私たちの研究の目的は、データ駆動型の AI エージェントを計算ベンチマークとして作成し、複数の人間とコンテキスト要因が関与する困難なタスクを解決する際の人間のパフォーマンスを評価することです。
サッカーのパフォーマンス分析のコンテキスト内でこれを示します。
大規模なプレーヤーとボール追跡データセットで、Conditional Variational Recurrent Neural Network (VRNN) モデルに基づく生成モデルをトレーニングします。
トレーニングされたモデルは、2 つのチーム間の相互作用を模倣し、各チームのパフォーマンスを予測するために使用されます。
次に、トレーニング済みの条件付き VRNN モデルをベンチマークとして使用して、チームのパフォーマンスを評価します。
プレミア リーグ サッカー データセットの実験結果は、サッカー分析で使用される既存の最先端の静的メトリックに対する私たちの方法の有用性を示しています。

要約(オリジナル)

Evaluating the performance of human is a common need across many applications, such as in engineering and sports. When evaluating human performance in completing complex and interactive tasks, the most common way is to use a metric having been proved efficient for that context, or to use subjective measurement techniques. However, this can be an error prone and unreliable process since static metrics cannot capture all the complex contexts associated with such tasks and biases exist in subjective measurement. The objective of our research is to create data-driven AI agents as computational benchmarks to evaluate human performance in solving difficult tasks involving multiple humans and contextual factors. We demonstrate this within the context of football performance analysis. We train a generative model based on Conditional Variational Recurrent Neural Network (VRNN) Model on a large player and ball tracking dataset. The trained model is used to imitate the interactions between two teams and predict the performance from each team. Then the trained Conditional VRNN Model is used as a benchmark to evaluate team performance. The experimental results on Premier League football dataset demonstrates the usefulness of our method to existing state-of-the-art static metric used in football analytics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google