Towards Open Set Video Anomaly Detection

要約

Open Set Video Anomaly Detection (OpenVAD) は、既知の異常と新しい異常の両方がテストに存在するビデオ データから異常なイベントを識別することを目的としています。
通常のビデオのみから学習した教師なしモデルは、あらゆるテスト異常に適用できますが、誤検出率が高くなります。
対照的に、監視が弱い方法は、既知の異常を検出するのに効果的ですが、オープン ワールドでは失敗する可能性があります。
証拠深層学習 (EDL) と正規化フロー (NF) を複数インスタンス学習 (MIL) フレームワークに統合することにより、OpenVAD 問題に対する新しい弱教師付き手法を開発します。
具体的には、グラフ ニューラル ネットワークとトリプレット損失を使用して、EDL 分類器をトレーニングするための識別機能を学習することを提案します。EDL は、不確実性を定量化することによって未知の異常を識別することができます。
さらに、クリーンな異常インスタンスを取得するための不確実性を意識した選択戦略と、疑似異常を生成するための NFs モジュールを開発します。
私たちの方法は、教師なし NF と教師なし MIL フレームワークの両方の利点を継承することで、既存のアプローチよりも優れています。
複数の実世界のビデオ データセットに関する実験結果は、この方法の有効性を示しています。

要約(オリジナル)

Open Set Video Anomaly Detection (OpenVAD) aims to identify abnormal events from video data where both known anomalies and novel ones exist in testing. Unsupervised models learned solely from normal videos are applicable to any testing anomalies but suffer from a high false positive rate. In contrast, weakly supervised methods are effective in detecting known anomalies but could fail in an open world. We develop a novel weakly supervised method for the OpenVAD problem by integrating evidential deep learning (EDL) and normalizing flows (NFs) into a multiple instance learning (MIL) framework. Specifically, we propose to use graph neural networks and triplet loss to learn discriminative features for training the EDL classifier, where the EDL is capable of identifying the unknown anomalies by quantifying the uncertainty. Moreover, we develop an uncertainty-aware selection strategy to obtain clean anomaly instances and a NFs module to generate the pseudo anomalies. Our method is superior to existing approaches by inheriting the advantages of both the unsupervised NFs and the weakly-supervised MIL framework. Experimental results on multiple real-world video datasets show the effectiveness of our method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google