Multi-Agent System for Comprehensive Soccer Understanding

要約

AI主導のサッカー理解における最近の進歩は急速な進歩を示していますが、既存の研究は主に孤立したまたは狭いタスクに焦点を当てています。
このギャップを埋めるために、私たちは全体的なサッカーの理解のための包括的なフレームワークを提案します。
具体的には、このペーパーで次の貢献をします。（i）最初の大規模なマルチモーダルサッカー知識ベースであるSoccerwikiを構築し、知識主導の推論を可能にするために、プレイヤー、チーム、審判、および会場に関する豊富なドメインの知識を統合します。
（ii）13の異なる理解タスクにわたって約10K標準化されたマルチモーダル（テキスト、画像、ビデオ）マルチ選択QAペアを特徴とする、最大かつ最も包括的なサッカー固有のベンチマークであるサッカーベンチを紹介します。
（iii）協力的な推論を介して複雑なサッカーの質問を分解し、サッカーウィキからのドメインの専門知識を活用し、堅牢なパフォーマンスを達成する新しいマルチエージェントシステムであるSocceragentを紹介します。
（iv）サッカーベンチに最先端のMLLMをベンチマークし、提案されたエージェントシステムの優位性を強調する広範な評価とアブレーション。
すべてのデータとコードは、https：//jyrao.github.io/socceragent/で公開されています。

要約(オリジナル)

Recent advancements in AI-driven soccer understanding have demonstrated rapid progress, yet existing research predominantly focuses on isolated or narrow tasks. To bridge this gap, we propose a comprehensive framework for holistic soccer understanding. Specifically, we make the following contributions in this paper: (i) we construct SoccerWiki, the first large-scale multimodal soccer knowledge base, integrating rich domain knowledge about players, teams, referees, and venues to enable knowledge-driven reasoning; (ii) we present SoccerBench, the largest and most comprehensive soccer-specific benchmark, featuring around 10K standardized multimodal (text, image, video) multi-choice QA pairs across 13 distinct understanding tasks, curated through automated pipelines and manual verification; (iii) we introduce SoccerAgent, a novel multi-agent system that decomposes complex soccer questions via collaborative reasoning, leveraging domain expertise from SoccerWiki and achieving robust performance; (iv) extensive evaluations and ablations that benchmark state-of-the-art MLLMs on SoccerBench, highlighting the superiority of our proposed agentic system. All data and code are publicly available at: https://jyrao.github.io/SoccerAgent/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google