Multi-Task Learning based Video Anomaly Detection with Attention

要約

タイトル：アテンションを利用した複数タスク学習に基づく動画異常検知

要約：
– 複数のプロキシタスクを組み合わせて異なる状況下での動画異常を検出する多タスク学習ベースの動画異常検知法が存在する。
– 現存する多くの手法は、補完的なタスクを組み合わせてすべてのモーションパターンを効果的にカバーしなかったり、オブジェクトのクラスが明示的に考慮されていなかったりする。
– これらの問題を解決するために、本論文では、補完的なプロキシタスクを組み合わせてモーションと外観特徴をより良く考慮する新しい多タスク学習ベースの手法を提案する。
– セマンティックセグメンテーションと将来のフレーム予測タスクを単一の枝に組み合わせ、オブジェクトクラスと一貫したモーションパターンを学習して、それぞれの異常を同時に検出する。
– 2番目の分岐では、オブジェクトの部分、モーションの方向、オブジェクトとカメラの距離に注目してモーション異常を検出するため、いくつかのアテンションメカニズムを追加した。
– 定性的な結果は、提案手法がオブジェクトクラスを効果的に考慮し、前述の重要な要素に注目してモーションを学習することで、正確なモーションモデリングとより良いモーション異常検出を実現していることを示している。
– さらに、定量的な結果は、提案手法が最先端の手法よりも優れていることを示している。

要約(オリジナル)

Multi-task learning based video anomaly detection methods combine multiple proxy tasks in different branches to detect video anomalies in different situations. Most existing methods either do not combine complementary tasks to effectively cover all motion patterns, or the class of the objects is not explicitly considered. To address the aforementioned shortcomings, we propose a novel multi-task learning based method that combines complementary proxy tasks to better consider the motion and appearance features. We combine the semantic segmentation and future frame prediction tasks in a single branch to learn the object class and consistent motion patterns, and to detect respective anomalies simultaneously. In the second branch, we added several attention mechanisms to detect motion anomalies with attention to object parts, the direction of motion, and the distance of the objects from the camera. Our qualitative results show that the proposed method considers the object class effectively and learns motion with attention to the aforementioned important factors which results in a precise motion modeling and a better motion anomaly detection. Additionally, quantitative results show the superiority of our method compared with state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI