Contracting Skeletal Kinematics for Human-Related Video Anomaly Detection

要約

人間の行動の異常を検出することは、市街での喧嘩や高齢者の転倒などの危険な状況をタイムリーに認識するために最も重要です。
ただし、異常なイベントはまれであり、これはオープンセット認識タスクであるため、異常検出は複雑です。つまり、推論時に異常であるものがトレーニング時には観察されていません。
我々は、グラフ畳み込みネットワークによって人間の骨格の動きをエンコードし、ビデオ異常検出のために最小体積の潜在超球上にSKeletal運動学的埋め込みをCONtractすることを学習する新しいモデルであるCOSKADを提案します。
我々は、一般的に採用されているユークリッド空間と、新しい球面および双曲空間という 3 つの潜在空間を提案します。
すべてのバリアントは、注釈付きのスケルトンを備えた人間関連のバージョンを提供する最新の UBnormal データセットの最先端のパフォーマンスを上回っています。
COSKAD は、ShanghaiTech Campus と CUHK Avenue の人間関連バージョンに新しい最先端技術を導入し、ビデオベースの方法に匹敵するパフォーマンスを実現します。
ソースコードとデータセットは承認され次第リリースされます。

要約(オリジナル)

Detecting the anomaly of human behavior is paramount to timely recognizing endangering situations, such as street fights or elderly falls. However, anomaly detection is complex since anomalous events are rare and because it is an open set recognition task, i.e., what is anomalous at inference has not been observed at training. We propose COSKAD, a novel model that encodes skeletal human motion by a graph convolutional network and learns to COntract SKeletal kinematic embeddings onto a latent hypersphere of minimum volume for Video Anomaly Detection. We propose three latent spaces: the commonly-adopted Euclidean and the novel spherical and hyperbolic. All variants outperform the state-of-the-art on the most recent UBnormal dataset, for which we contribute a human-related version with annotated skeletons. COSKAD sets a new state-of-the-art on the human-related versions of ShanghaiTech Campus and CUHK Avenue, with performance comparable to video-based methods. Source code and dataset will be released upon acceptance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google