Frequency-Guided Multi-Level Human Action Anomaly Detection with Normalizing Flows

要約

ヒューマン アクション異常検出 (HAAD) のタスクを紹介します。これは、トレーニング アクション サンプルの事前に決定された正常なカテゴリのみが与えられた場合に、教師なしの方法で異常な動きを特定することを目的としています。
ビデオからの異常なイベントに主に焦点を当てていた従来の人間関連の異常検出タスクと比較して、HAAD には意味的に異常な人間の行動を認識するための特定のアクション ラベルの学習が含まれます。
この課題に対処するために、サンプルの尤度を効果的に活用して異常を示す正規化フロー (NF) ベースの検出フレームワークを提案します。
アクションの異常は特定の体の一部で発生することが多いため、全身のアクション特徴の学習に加えて、追加のエンコード ストリームをフレームワークに組み込んで、体のサブセットをより詳細にモデリングします。
したがって、私たちのフレームワークはマルチレベルであり、グローバルおよびローカルの動きの異常を共同で発見します。
さらに、記録中に潜在的にジッターのあるデータを認識するために、アクション サンプルを時間領域から周波数領域に変換することで離散コサイン変換を利用し、データの不安定性の問題を軽減します。
2 つの人間の行動データセットに関する広範な実験結果は、私たちの方法が、最先端の人間の活動 AD アプローチを HAAD のタスクに適応させることによって形成されたベースラインよりも優れていることを示しています。

要約(オリジナル)

We introduce the task of human action anomaly detection (HAAD), which aims to identify anomalous motions in an unsupervised manner given only the pre-determined normal category of training action samples. Compared to prior human-related anomaly detection tasks which primarily focus on unusual events from videos, HAAD involves the learning of specific action labels to recognize semantically anomalous human behaviors. To address this task, we propose a normalizing flow (NF)-based detection framework where the sample likelihood is effectively leveraged to indicate anomalies. As action anomalies often occur in some specific body parts, in addition to the full-body action feature learning, we incorporate extra encoding streams into our framework for a finer modeling of body subsets. Our framework is thus multi-level to jointly discover global and local motion anomalies. Furthermore, to show awareness of the potentially jittery data during recording, we resort to discrete cosine transformation by converting the action samples from the temporal to the frequency domain to mitigate the issue of data instability. Extensive experimental results on two human action datasets demonstrate that our method outperforms the baselines formed by adapting state-of-the-art human activity AD approaches to our task of HAAD.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google