MULDE: Multiscale Log-Density Estimation via Denoising Score Matching for Video Anomaly Detection

要約

私たちは、ビデオの異常検出に対する新しいアプローチを提案します。ビデオから抽出された特徴ベクトルを、固定分布を持つ確率変数の実現として扱い、この分布をニューラル ネットワークでモデル化します。
これにより、テスト ビデオの尤度を推定し、尤度推定値をしきい値処理することでビデオの異常を検出できます。
ノイズ除去スコア マッチングの修正を使用してビデオ異常検出器をトレーニングします。これは、トレーニング データにノイズを注入して分布のモデル化を容易にする方法です。
ハイパーパラメータの選択を排除するために、さまざまなノイズ レベルにわたるノイズの多いビデオ特徴の分布をモデル化し、さまざまなレベルのノイズに合わせてモデルを調整する傾向のある正則化機能を導入します。
テスト時には、複数のノイズ スケールでの異常の兆候を混合ガウス モデルと組み合わせます。
ビデオ異常検出器を実行すると、推論には特徴を抽出し、それらを浅いニューラル ネットワークと混合ガウス モデルを通じて順伝播するだけで済むため、遅延が最小限に抑えられます。
5 つの一般的なビデオ異常検出ベンチマークに関する実験では、オブジェクト中心のセットアップとフレーム中心のセットアップの両方で最先端のパフォーマンスが実証されました。

要約(オリジナル)

We propose a novel approach to video anomaly detection: we treat feature vectors extracted from videos as realizations of a random variable with a fixed distribution and model this distribution with a neural network. This lets us estimate the likelihood of test videos and detect video anomalies by thresholding the likelihood estimates. We train our video anomaly detector using a modification of denoising score matching, a method that injects training data with noise to facilitate modeling its distribution. To eliminate hyperparameter selection, we model the distribution of noisy video features across a range of noise levels and introduce a regularizer that tends to align the models for different levels of noise. At test time, we combine anomaly indications at multiple noise scales with a Gaussian mixture model. Running our video anomaly detector induces minimal delays as inference requires merely extracting the features and forward-propagating them through a shallow neural network and a Gaussian mixture model. Our experiments on five popular video anomaly detection benchmarks demonstrate state-of-the-art performance, both in the object-centric and in the frame-centric setup.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google