Evaluating the Effectiveness of Video Anomaly Detection in the Wild: Online Learning and Inference for Real-world Deployment

要約

ビデオ異常検出 (VAD) は、ビデオ ストリーム内の異常なアクティビティを特定します。これは、監視から医療まで幅広い用途に使用される重要なテクノロジーです。
現実の環境で VAD に取り組むことは、人間の行動、環境の変化、ドメインの変化の動的な性質により、重大な課題を引き起こします。
多くの研究イニシアチブはこれらの複雑さを無視しており、目に見えないデータセットでのパフォーマンスを考慮できない従来のテスト方法に集中していることが多く、理論的モデルと現実世界の実用性の間にギャップが生じています。
オンライン学習は、モデルが新しい情報に継続的に適応できるようにすることで、この問題を軽減する潜在的な戦略です。
この論文では、現在の VAD アルゴリズムが、オンライン学習フレームワーク、特に姿勢分析に基づくフレームワークを通じて、効率性とプライバシーの利点を介して実際の状況にどの程度適応できるかを評価します。
私たちが提案するフレームワークは、新しい環境からのストリーミング データによる継続的なモデルの更新を可能にし、実際の世界の課題を反映し、精度を維持しながらリアルタイムで適応するモデルの能力を評価します。
私たちは、さまざまなドメインにわたる適応性に焦点を当てて、この設定で 3 つの最先端のモデルを調査します。
私たちの調査結果は、最も困難な条件下であっても、オンライン学習アプローチにより、特定のターゲット ドメインにおいてオフラインでトレーニングされたモデルと比較して、モデルが元の有効性の 89.39% を維持できることを示しています。

要約(オリジナル)

Video Anomaly Detection (VAD) identifies unusual activities in video streams, a key technology with broad applications ranging from surveillance to healthcare. Tackling VAD in real-life settings poses significant challenges due to the dynamic nature of human actions, environmental variations, and domain shifts. Many research initiatives neglect these complexities, often concentrating on traditional testing methods that fail to account for performance on unseen datasets, creating a gap between theoretical models and their real-world utility. Online learning is a potential strategy to mitigate this issue by allowing models to adapt to new information continuously. This paper assesses how well current VAD algorithms can adjust to real-life conditions through an online learning framework, particularly those based on pose analysis, for their efficiency and privacy advantages. Our proposed framework enables continuous model updates with streaming data from novel environments, thus mirroring actual world challenges and evaluating the models’ ability to adapt in real-time while maintaining accuracy. We investigate three state-of-the-art models in this setting, focusing on their adaptability across different domains. Our findings indicate that, even under the most challenging conditions, our online learning approach allows a model to preserve 89.39% of its original effectiveness compared to its offline-trained counterpart in a specific target domain.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google