Towards More Practical Group Activity Detection: A New Benchmark and Model

要約

グループ アクティビティ検出 (GAD) は、ビデオ内で各グループのメンバーを識別し、同時にグループのアクティビティを分類するタスクです。
GAD は最近研究されてきましたが、実際の G​​AD シナリオに対処する能力が限られているため、データセットと方法論の両方に改善の余地がまだ多くあります。
これらの問題を解決するために、最初に Caf\’e と呼ばれる新しいデータセットを提示します。
既存のデータセットとは異なり、Caf\’e は主に GAD 用に構築されており、より実用的な評価シナリオと指標を提示するだけでなく、大規模で豊富な注釈を提供します。
データセットとともに、未知の数のグループと潜在的なグループ メンバーを効率的かつ効果的に扱う新しい GAD モデルを提案します。
Caf\’e を含む 3 つのデータセットでモデルを評価したところ、精度と推論速度の両方の点で以前の研究を上回りました。
GAD に関する今後の研究を促進するために、データセットとコード ベースの両方が一般に公開されます。

要約(オリジナル)

Group activity detection (GAD) is the task of identifying members of each group and classifying the activity of the group at the same time in a video. While GAD has been studied recently, there is still much room for improvement in both dataset and methodology due to their limited capability to address practical GAD scenarios. To resolve these issues, we first present a new dataset, dubbed Caf\’e. Unlike existing datasets, Caf\’e is constructed primarily for GAD and presents more practical evaluation scenarios and metrics, as well as being large-scale and providing rich annotations. Along with the dataset, we propose a new GAD model that deals with an unknown number of groups and latent group members efficiently and effectively. We evaluated our model on three datasets including Caf\’e, where it outperformed previous work in terms of both accuracy and inference speed. Both our dataset and code base will be open to the public to promote future research on GAD.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google