Holistic Representation Learning for Multitask Trajectory Anomaly Detection

要約

映像異常検出は、映像中の異常事象の認識を扱う。視覚信号とは別に、ビデオ異常検出はスケルトンシーケンスを利用することでも扱われてきた。我々は、異なる時間におけるセグメント間の予想される動きを学習するために、スケルトンの軌跡の全体的表現を提案する。我々のアプローチはマルチタスク学習を用いて、軌跡の任意の連続的な未観測の時間セグメントを再構成し、過去または未来のセグメントの外挿と、セグメント間の補間を可能にする。エンド・ツー・エンドの注意ベースのエンコーダ・デコーダを用いる。時間的に閉じた軌跡を符号化し、閉じたセグメントの潜在的な表現を共同で学習し、異なる時間セグメント間で予想される運動に基づいて軌跡を再構成する。3つの軌跡ベースのビデオ異常検出データセットに対する広範な実験により、スケルトン軌跡における異常検出に関する最先端の結果とともに、我々のアプローチの利点と有効性を示す。

要約(オリジナル)

Video anomaly detection deals with the recognition of abnormal events in videos. Apart from the visual signal, video anomaly detection has also been addressed with the use of skeleton sequences. We propose a holistic representation of skeleton trajectories to learn expected motions across segments at different times. Our approach uses multitask learning to reconstruct any continuous unobserved temporal segment of the trajectory allowing the extrapolation of past or future segments and the interpolation of in-between segments. We use an end-to-end attention-based encoder-decoder. We encode temporally occluded trajectories, jointly learn latent representations of the occluded segments, and reconstruct trajectories based on expected motions across different temporal segments. Extensive experiments on three trajectory-based video anomaly detection datasets show the advantages and effectiveness of our approach with state-of-the-art results on anomaly detection in skeleton trajectories.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL