Pedestrian Spatio-Temporal Information Fusion For Video Anomaly Detection

要約

現在のビデオ異常検出では時間情報を完全に使用できず、通常の行動の多様性を無視できないという問題を目指して、歩行者の時空間情報を統合する異常検出方法が提案されています。
畳み込みオートエンコーダーに基づいて、入力フレームはエンコーダーとデコーダーを介して圧縮および復元されます。
出力フレームと真値との差分により異常検知を実現します。
連続ビデオフレーム間の特性情報接続を強化するために,残余時間シフトモジュールと残余チャネル注意モジュールを導入して,それぞれ時間情報とチャネル情報に関するネットワークのモデル化能力を改善した。
畳み込みニューラル ネットワークが過度に一般化されているため、メモリ拡張モジュールでは、各コーデック レイヤーのホッピング接続が追加され、異常なフレームを過度に表現するオートエンコーダーの能力を制限し、ネットワークの異常検出精度を向上させます。
さらに、目的関数は特徴の離散化損失によって変更され、さまざまな通常の動作パターンを効果的に区別します。
CUHK Avenue および ShanghaiTech データセットでの実験結果は、提案された方法が、リアルタイム要件を満たしながら、現在の主流のビデオ異常検出方法よりも優れていることを示しています。

要約(オリジナル)

Aiming at the problem that the current video anomaly detection cannot fully use the temporal information and ignore the diversity of normal behavior, an anomaly detection method is proposed to integrate the spatiotemporal information of pedestrians. Based on the convolutional autoencoder, the input frame is compressed and restored through the encoder and decoder. Anomaly detection is realized according to the difference between the output frame and the true value. In order to strengthen the characteristic information connection between continuous video frames, the residual temporal shift module and the residual channel attention module are introduced to improve the modeling ability of the network on temporal information and channel information, respectively. Due to the excessive generalization of convolutional neural networks, in the memory enhancement modules, the hopping connections of each codec layer are added to limit autoencoders’ ability to represent abnormal frames too vigorously and improve the anomaly detection accuracy of the network. In addition, the objective function is modified by a feature discretization loss, which effectively distinguishes different normal behavior patterns. The experimental results on the CUHK Avenue and ShanghaiTech datasets show that the proposed method is superior to the current mainstream video anomaly detection methods while meeting the real-time requirements.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google