A Coarse-to-Fine Pseudo-Labeling (C2FPL) Framework for Unsupervised Video Anomaly Detection

要約

ビデオ内の異常なイベントの検出は、監視などのアプリケーションでは重要な問題です。
ビデオ異常検出 (VAD) は、1 クラス分類 (OCC) および弱監視 (WS) 設定でよく研究されています。
ただし、注釈や人間の監視なしで完全なシステムを学習する、完全に教師なし (米国) のビデオ異常検出方法については、詳しく調査されていません。
これは、グラウンド トゥルースの注釈が欠如していると、VAD の課題の規模が大幅に増大するためです。
この課題に対処するために、セグメント レベル (正常/異常) の擬似ラベルを生成する、シンプルだが効果的な 2 段階の擬似ラベル生成フレームワークを提案します。このフレームワークは、セグメント レベルの異常検出器をトレーニングするためにさらに使用できます。
監視された方法。
提案されている粗密擬似ラベル (C2FPL) ジェネレーターは、慎重に設計された階層分割クラスタリングと統計的仮説検定を採用し、完全にラベルのない一連のビデオから異常なビデオ セグメントを特定します。
トレーニングされた異常検出器を未表示のテスト ビデオのセグメントに直接適用して、セグメント レベルの異常予測を取得し、続いてフレーム レベルの異常予測を取得できます。
2 つの大規模なパブリックドメイン データセット、UCF-Crime と XD-Violence に関する広範な研究により、提案された教師なしアプローチが既存のすべての OCC および US 手法と比較して優れたパフォーマンスを達成すると同時に、最新の手法と同等のパフォーマンスが得られることが実証されています。
アートWSメソッド。

要約(オリジナル)

Detection of anomalous events in videos is an important problem in applications such as surveillance. Video anomaly detection (VAD) is well-studied in the one-class classification (OCC) and weakly supervised (WS) settings. However, fully unsupervised (US) video anomaly detection methods, which learn a complete system without any annotation or human supervision, have not been explored in depth. This is because the lack of any ground truth annotations significantly increases the magnitude of the VAD challenge. To address this challenge, we propose a simple-but-effective two-stage pseudo-label generation framework that produces segment-level (normal/anomaly) pseudo-labels, which can be further used to train a segment-level anomaly detector in a supervised manner. The proposed coarse-to-fine pseudo-label (C2FPL) generator employs carefully-designed hierarchical divisive clustering and statistical hypothesis testing to identify anomalous video segments from a set of completely unlabeled videos. The trained anomaly detector can be directly applied on segments of an unseen test video to obtain segment-level, and subsequently, frame-level anomaly predictions. Extensive studies on two large-scale public-domain datasets, UCF-Crime and XD-Violence, demonstrate that the proposed unsupervised approach achieves superior performance compared to all existing OCC and US methods , while yielding comparable performance to the state-of-the-art WS methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google