Cross-Domain Learning for Video Anomaly Detection with Limited Supervision

要約

ビデオ異常検出 (VAD) は、監視ビデオ内のセキュリティ脅威などの異常なイベントの識別を自動化します。
実際のアプリケーションでは、VAD モデルはクロスドメイン設定で効果的に動作し、トレーニング データでは十分に表現されていないまれな異常やシナリオを識別する必要があります。
ただし、既存のクロスドメイン VAD 手法は教師なし学習に重点を置いているため、パフォーマンスが現実世界の期待を下回ります。
ソースドメインに対して弱い監視、つまりビデオレベルのラベルを取得することはコスト効率が高いため、それを外部のラベルなしデータと組み合わせると、クロスドメインのパフォーマンスを向上させる顕著な可能性があると推測されます。
この目的を達成するために、VAD のクロスドメイン学習 (CDL) 用の新しい弱教師ありフレームワークを導入します。このフレームワークは、予測バイアスを推定し、予測された不確実性を使用して適応的に最小化することで、トレーニング中に外部データを組み込みます。
我々は、UCF-Crime と XD-Violence という 2 つの大規模な VAD データセットに対してさまざまな構成で実行された包括的な実験を通じて、提案された CDL フレームワークの有効性を実証します。
私たちの方法は、クロスドメイン評価において最先端の研究を大幅に上回り、UCF-Crime では 19.6%、XD-Violence では 12.87% の平均絶対改善を達成しました。

要約(オリジナル)

Video Anomaly Detection (VAD) automates the identification of unusual events, such as security threats in surveillance videos. In real-world applications, VAD models must effectively operate in cross-domain settings, identifying rare anomalies and scenarios not well-represented in the training data. However, existing cross-domain VAD methods focus on unsupervised learning, resulting in performance that falls short of real-world expectations. Since acquiring weak supervision, i.e., video-level labels, for the source domain is cost-effective, we conjecture that combining it with external unlabeled data has notable potential to enhance cross-domain performance. To this end, we introduce a novel weakly-supervised framework for Cross-Domain Learning (CDL) in VAD that incorporates external data during training by estimating its prediction bias and adaptively minimizing that using the predicted uncertainty. We demonstrate the effectiveness of the proposed CDL framework through comprehensive experiments conducted in various configurations on two large-scale VAD datasets: UCF-Crime and XD-Violence. Our method significantly surpasses the state-of-the-art works in cross-domain evaluations, achieving an average absolute improvement of 19.6% on UCF-Crime and 12.87% on XD-Violence.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google