Weakly Supervised Video Anomaly Detection Based on Cross-Batch Clustering Guidance

要約

トレーニングに使用できるのはビデオ レベルのラベルのみであるため、弱い教師ありビデオ異常検出 (WSVAD) は困難なタスクです。
以前の研究では、学習した特徴の識別力は十分に強くなく、ミニバッチ トレーニング戦略に起因するデータの不均衡は無視されていました。
これら 2 つの問題に対処するために、クロスバッチ クラスタリング ガイダンスに基づく新しい WSVAD メソッドを提案します。
機能の識別力を強化するために、バッチ クラスタリング ベースの損失を提案して、クラスタリング ブランチがデータのバッチに基づいて異なる正常なクラスターと異常なクラスターを生成するようにします。
一方、データの不均衡の影響を軽減するために、以前のミニバッチからのクラスタリング結果を導入することにより、クロスバッチ学習戦略を設計します。
さらに、WSVAD のパフォーマンスをさらに向上させるバッチ クラスタリング ガイダンスに基づいて、より正確なセグメント レベルの異常スコアを生成することを提案します。
2 つの公開データセットでの広範な実験により、私たちのアプローチの有効性が実証されました。

要約(オリジナル)

Weakly supervised video anomaly detection (WSVAD) is a challenging task since only video-level labels are available for training. In previous studies, the discriminative power of the learned features is not strong enough, and the data imbalance resulting from the mini-batch training strategy is ignored. To address these two issues, we propose a novel WSVAD method based on cross-batch clustering guidance. To enhance the discriminative power of features, we propose a batch clustering based loss to encourage a clustering branch to generate distinct normal and abnormal clusters based on a batch of data. Meanwhile, we design a cross-batch learning strategy by introducing clustering results from previous mini-batches to reduce the impact of data imbalance. In addition, we propose to generate more accurate segment-level anomaly scores based on batch clustering guidance further improving the performance of WSVAD. Extensive experiments on two public datasets demonstrate the effectiveness of our approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google