Weakly Supervised Two-Stage Training Scheme for Deep Video Fight Detection Model

要約

ビデオでの戦いの検出は、今日の監視システムとストリーミング メディアの普及に伴い、新しいディープ ラーニング アプリケーションです。
以前の研究では、この問題に取り組むために行動認識技術に大きく依存していました。
この論文では、新しい視点からタスクを解決するシンプルだが効果的な方法を提案します。アクション認識機能抽出器と異常スコア生成器の構成として、戦い検出モデルを設計します。
また、ビデオのフレーム レベルのラベルを収集するのは面倒であることを考慮して、ビデオ レベルのラベルで計算された複数インスタンスの学習損失を利用してスコア ジェネレーターをトレーニングし、
そのパフォーマンスをさらに向上させるためのセルフトレーニング技術。
公開されている大規模なデータセットであるUBI-Fightsでの広範な実験により、私たちの方法の有効性が実証され、データセットでのパフォーマンスは以前のいくつかの最先端のアプローチを超えています.
さらに、ビデオファイトの検出に特化した新しいデータセット VFD-2000 を収集します。これは、既存のデータセットよりも大規模でシナリオが多いものです。
メソッドの実装と提案されたデータセットは、https://github.com/Hepta-Col/VideoFightDetection で公開されます。

要約(オリジナル)

Fight detection in videos is an emerging deep learning application with today’s prevalence of surveillance systems and streaming media. Previous work has largely relied on action recognition techniques to tackle this problem. In this paper, we propose a simple but effective method that solves the task from a new perspective: we design the fight detection model as a composition of an action-aware feature extractor and an anomaly score generator. Also, considering that collecting frame-level labels for videos is too laborious, we design a weakly supervised two-stage training scheme, where we utilize multiple-instance-learning loss calculated on video-level labels to train the score generator, and adopt the self-training technique to further improve its performance. Extensive experiments on a publicly available large-scale dataset, UBI-Fights, demonstrate the effectiveness of our method, and the performance on the dataset exceeds several previous state-of-the-art approaches. Furthermore, we collect a new dataset, VFD-2000, that specializes in video fight detection, with a larger scale and more scenarios than existing datasets. The implementation of our method and the proposed dataset will be publicly available at https://github.com/Hepta-Col/VideoFightDetection.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google