Video Event Restoration Based on Keyframes for Video Anomaly Detection

要約

タイトル: キーフレームに基づくビデオイベントの復元による異常検知のためのビデオイベント復元
要約:
– ビデオ異常検知はコンピュータビジョンにおける重要な問題である。
– 既存のDNNに基づくビデオ異常検知方法は、大部分がフレームの再構築またはフレームの予測に沿っている。
– しかし、ビデオの高次元の視覚特徴と時間的なコンテキストの関係の採掘や学習の欠如は、これら2つの手法のさらなるパフォーマンスを制限している。
– ビデオコーデック理論に着想を得て、これらの限界を克服するための全く新しいビデオ異常検知のパラダイムを提供することを目的とし、ビデオキーフレームに基づくビデオイベントの復元タスクを提案する。
– DNNを駆使して、ビデオキーフレームに基づいて複数のフレームを復元し、ビデオイベントを復元することで、DNNがビデオの潜在的な高次元視覚特徴と包括的な時間的コンテキスト関係をより効果的に採掘して学習することができる。
– この目的のために、クロスアテンションと時間的なアップサンプリング残差スキップ接続を導入した新しいU型Swin Transformer Network with Dual Skip Connections (USTN-DSC)を提案する。これは、ビデオの複雑な静的および動的運動オブジェクトの特徴を回復するのにさらに役立ちます。また、ビデオシーケンスのモーションの一貫性を制約するシンプルで効果的な隣接フレームの差分損失を提案する。
– ベンチマーク実験の結果、USTN-DSCがほとんどの既存の手法を上回り、本手法の有効性が検証された。

要約(オリジナル)

Video anomaly detection (VAD) is a significant computer vision problem. Existing deep neural network (DNN) based VAD methods mostly follow the route of frame reconstruction or frame prediction. However, the lack of mining and learning of higher-level visual features and temporal context relationships in videos limits the further performance of these two approaches. Inspired by video codec theory, we introduce a brand-new VAD paradigm to break through these limitations: First, we propose a new task of video event restoration based on keyframes. Encouraging DNN to infer missing multiple frames based on video keyframes so as to restore a video event, which can more effectively motivate DNN to mine and learn potential higher-level visual features and comprehensive temporal context relationships in the video. To this end, we propose a novel U-shaped Swin Transformer Network with Dual Skip Connections (USTN-DSC) for video event restoration, where a cross-attention and a temporal upsampling residual skip connection are introduced to further assist in restoring complex static and dynamic motion object features in the video. In addition, we propose a simple and effective adjacent frame difference loss to constrain the motion consistency of the video sequence. Extensive experiments on benchmarks demonstrate that USTN-DSC outperforms most existing methods, validating the effectiveness of our method.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI