A Multilevel Guidance-Exploration Network and Behavior-Scene Matching Method for Human Behavior Anomaly Detection

要約

人間の行動の異常検出は、人間の異常な行動を特定することを目的としており、インテリジェントな監視やその他の分野で重要な役割を果たしています。
現在の主流の方法では、依然として再構成または将来のフレーム予測技術が採用されています。
ただし、低レベルのピクセル特徴を再構成または予測すると、ネットワークは非常に強力な汎化能力を容易に実現できるため、異常を通常のデータと同じように効果的に再構成または予測できるようになります。
学生と教師のネットワークに触発された彼らの方法とは異なり、私たちはマルチレベル指導探索ネットワーク (MGENet) と呼ばれる新しいフレームワークを提案します。このフレームワークは、指導ネットワークと探索ネットワークの間の高レベル表現の違いを通じて異常を検出します。
具体的には、まず、骨格キーポイントを入力として受け取る事前トレーニング済みの正規化フローを利用して、マスクされていない RGB フレームを入力として受け取る RGB エンコーダーをガイドし、モーションの潜在的な特徴を探索します。
次に、RGB エンコーダは、マスクされた RGB フレームを入力として受け取るマスク エンコーダをガイドして、潜在的な外観特徴を探索します。
さらに、シーン関連の動作異常を検出するための動作シーンマッチングモジュール (BSMM) を設計します。
広範な実験により、私たちが提案した方法が、ShanghaiTech データセットと UBnormal データセットで、AUC がそれぞれ 86.9 % と 73.5 % という最先端のパフォーマンスを達成することが実証されました。
コードは https://github.com/molu-ggg/GENet で入手できます。

要約(オリジナル)

Human behavior anomaly detection aims to identify unusual human actions, playing a crucial role in intelligent surveillance and other areas. The current mainstream methods still adopt reconstruction or future frame prediction techniques. However, reconstructing or predicting low-level pixel features easily enables the network to achieve overly strong generalization ability, allowing anomalies to be reconstructed or predicted as effectively as normal data. Different from their methods, inspired by the Student-Teacher Network, we propose a novel framework called the Multilevel Guidance-Exploration Network(MGENet), which detects anomalies through the difference in high-level representation between the Guidance and Exploration network. Specifically, we first utilize the pre-trained Normalizing Flow that takes skeletal keypoints as input to guide an RGB encoder, which takes unmasked RGB frames as input, to explore motion latent features. Then, the RGB encoder guides the mask encoder, which takes masked RGB frames as input, to explore the latent appearance feature. Additionally, we design a Behavior-Scene Matching Module(BSMM) to detect scene-related behavioral anomalies. Extensive experiments demonstrate that our proposed method achieves state-of-the-art performance on ShanghaiTech and UBnormal datasets, with AUC of 86.9 % and 73.5 %, respectively. The code will be available on https://github.com/molu-ggg/GENet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google