VideoPatchCore: An Effective Method to Memorize Normality for Video Anomaly Detection

要約

ビデオ異常検出 (VAD) は、コンピューター ビジョン内のビデオ分析と監視において重要なタスクです。
現在、通常のフレームの特徴を記憶するメモリ技術としてVADが注目されている。
保存された特徴はフレームの再構成に利用され、再構成されたフレームと入力フレームの間に大きな違いが存在する場合に異常を特定します。
ただし、このアプローチは、メモリとエンコーダ/デコーダ モデルの両方に同時に最適化が必要なため、いくつかの課題に直面しています。
これらの課題には、最適化の難易度の上昇、実装の複雑さ、メモリ サイズに応じたパフォーマンスの変動などが含まれます。
これらの課題に対処するために、VideoPatchCore と呼ばれる VAD 用の効果的なメモリ方法を提案します。
PatchCore からインスピレーションを受け、メモリの最適化を優先する構造を導入し、ビデオ データの特性に合わせて 3 種類のメモリを構成します。
この方法は、既存のメモリベースの方法の制限に効果的に対処し、最先端の方法に匹敵する優れたパフォーマンスを達成します。
さらに、私たちのメソッドはトレーニングを必要とせず、実装が簡単なので、VAD タスクをより簡単に実行できます。
私たちのコードは、github.com/SkiddieAhn/Paper-VideoPatchCore からオンラインで入手できます。

要約(オリジナル)

Video anomaly detection (VAD) is a crucial task in video analysis and surveillance within computer vision. Currently, VAD is gaining attention with memory techniques that store the features of normal frames. The stored features are utilized for frame reconstruction, identifying an abnormality when a significant difference exists between the reconstructed and input frames. However, this approach faces several challenges due to the simultaneous optimization required for both the memory and encoder-decoder model. These challenges include increased optimization difficulty, complexity of implementation, and performance variability depending on the memory size. To address these challenges,we propose an effective memory method for VAD, called VideoPatchCore. Inspired by PatchCore, our approach introduces a structure that prioritizes memory optimization and configures three types of memory tailored to the characteristics of video data. This method effectively addresses the limitations of existing memory-based methods, achieving good performance comparable to state-of-the-art methods. Furthermore, our method requires no training and is straightforward to implement, making VAD tasks more accessible. Our code is available online at github.com/SkiddieAhn/Paper-VideoPatchCore.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google