Crowd-level Abnormal Behavior Detection via Multi-scale Motion Consistency Learning

要約

個人の複雑な相互作用から生じる異常な群集の動きを検出することは、群集の安全を確保するために最も重要です。
群集レベルの異常行動 (CAB)、例えば逆流や群集の乱気流は、多くの群集災害の重大な原因であることが証明されています。
最近の 10 年間で、ビデオ異常検出 (VAD) 技術は、個人レベルの異常な行動 (例えば、突然のランニング、喧嘩、盗み) の検出で目覚ましい成功を収めましたが、CAB の VAD に関する研究はかなり限られています。
個人レベルの異常とは異なり、CAB は通常、局所的に観察された場合、通常の行動との顕著な違いを示さず、CAB の規模はシナリオごとに異なる可能性があります。
この論文では、新しい群衆運動学習フレームワークであるマルチスケール運動一貫性ネットワーク（MSMC-Net）を使用して、CABのVADの重要な問題に取り組むための体系的な研究を提示します。
MSMC-Net は、まず、空間的および時間的な群衆の動きの一貫性に関する情報をグラフ表現でキャプチャします。
次に、さまざまなスケールで構築された複数の特徴グラフを同時にトレーニングして、豊富な群集パターンをキャプチャします。
アテンション ネットワークを使用して、マルチスケール機能を適応的に融合し、CAB 検出を向上させます。
実証研究では、UMN、Hajj、Love Parade という 3 つの大規模な群衆イベント データセットを検討します。
実験結果は、MSMC-Net がすべてのデータセットで最先端のパフォーマンスを大幅に改善できることを示しています。

要約(オリジナル)

Detecting abnormal crowd motion emerging from complex interactions of individuals is paramount to ensure the safety of crowds. Crowd-level abnormal behaviors (CABs), e.g., counter flow and crowd turbulence, are proven to be the crucial causes of many crowd disasters. In the recent decade, video anomaly detection (VAD) techniques have achieved remarkable success in detecting individual-level abnormal behaviors (e.g., sudden running, fighting and stealing), but research on VAD for CABs is rather limited. Unlike individual-level anomaly, CABs usually do not exhibit salient difference from the normal behaviors when observed locally, and the scale of CABs could vary from one scenario to another. In this paper, we present a systematic study to tackle the important problem of VAD for CABs with a novel crowd motion learning framework, multi-scale motion consistency network (MSMC-Net). MSMC-Net first captures the spatial and temporal crowd motion consistency information in a graph representation. Then, it simultaneously trains multiple feature graphs constructed at different scales to capture rich crowd patterns. An attention network is used to adaptively fuse the multi-scale features for better CAB detection. For the empirical study, we consider three large-scale crowd event datasets, UMN, Hajj and Love Parade. Experimental results show that MSMC-Net could substantially improve the state-of-the-art performance on all the datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google