Multimodal Motion Conditioned Diffusion Model for Skeleton-based Video Anomaly Detection

要約

異常はまれであるため、異常検出は多くの場合、1 クラス分類 (OCC) として構成されます。つまり、正常性のみに基づいてトレーニングされます。
最先端の OCC 技術は、正常な動きの潜在的な表現を限られた量に制限し、外部にあるものを異常として検出します。これにより、異常のオープンセット性が十分に説明されます。
しかし、人間は同じ動作をいくつかの方法で実行できるため、正常性は同じオープンセット性の特性を共有しますが、主要な技術では無視されます。
我々は、正常性と異常性の両方がマルチモーダルであると仮定する、ビデオ異常検出 (VAD) のための新しい生成モデルを提案します。
私たちは骨格表現を考慮し、最先端の拡散確率モデルを活用して、マルチモーダルな未来の人間のポーズを生成します。
私たちは、人々の過去の動きに新しい条件付けを提供し、拡散プロセスの改善されたモード カバレッジ機能を活用して、異なるがもっともらしい将来の動きを生成します。
将来モードを統計的に集計すると、生成された一連のモーションが実際の未来に関連しない場合に異常が検出されます。
当社では、最先端の結果を超える広範な実験を行い、確立された 4 つのベンチマーク (UBnormal、HR-UBnormal、HR-STC、HR-Avenue) でモデルを検証します。

要約(オリジナル)

Anomalies are rare and anomaly detection is often therefore framed as One-Class Classification (OCC), i.e. trained solely on normalcy. Leading OCC techniques constrain the latent representations of normal motions to limited volumes and detect as abnormal anything outside, which accounts satisfactorily for the openset’ness of anomalies. But normalcy shares the same openset’ness property since humans can perform the same action in several ways, which the leading techniques neglect. We propose a novel generative model for video anomaly detection (VAD), which assumes that both normality and abnormality are multimodal. We consider skeletal representations and leverage state-of-the-art diffusion probabilistic models to generate multimodal future human poses. We contribute a novel conditioning on the past motion of people and exploit the improved mode coverage capabilities of diffusion processes to generate different-but-plausible future motions. Upon the statistical aggregation of future modes, an anomaly is detected when the generated set of motions is not pertinent to the actual future. We validate our model on 4 established benchmarks: UBnormal, HR-UBnormal, HR-STC, and HR-Avenue, with extensive experiments surpassing state-of-the-art results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google