Consistency-based Self-supervised Learning for Temporal Anomaly Localization

要約

この研究では、予測器が通常の例からだけでなく、学習中に利用可能になった少数のラベル付き異常からも学習することを許可されている弱教師付き異常検知に取り組む。特に、ビデオストリーム内の異常活動のローカライズを扱う。これは、学習例がビデオレベルのアノテーション（フレームレベルではない）のみであるため、非常に困難なシナリオである。最近のいくつかの研究では、弱く学習されたフレームレベルの異常スコアに対してスパース性と平滑性制約を強制することで、この問題に対処する様々な正則化項が提案されている。この研究では、自己教師付き学習の分野における最近の進歩に触発され、同じビデオシーケンスの異なる補強に対して同じスコアをもたらすようモデルに求める。このようなアライメントを強制することで、XD-Violenceにおけるモデルのパフォーマンスが改善されることを示す。

要約(オリジナル)

This work tackles Weakly Supervised Anomaly detection, in which a predictor is allowed to learn not only from normal examples but also from a few labeled anomalies made available during training. In particular, we deal with the localization of anomalous activities within the video stream: this is a very challenging scenario, as training examples come only with video-level annotations (and not frame-level). Several recent works have proposed various regularization terms to address it i.e. by enforcing sparsity and smoothness constraints over the weakly-learned frame-level anomaly scores. In this work, we get inspired by recent advances within the field of self-supervised learning and ask the model to yield the same scores for different augmentations of the same video sequence. We show that enforcing such an alignment improves the performance of the model on XD-Violence.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL