Zero-Shot Action Recognition in Surveillance Videos

要約

公共空間での監視需要の高まりは、人的資源の不足により重大な課題を引き起こしています。
現在の AI ベースのビデオ監視システムは、広範な微調整を必要とするコアのコンピューター ビジョン モデルに大きく依存していますが、データセットが限られており、設定が難しい (視点、低品質など) ため、監視設定では特に困難です。
この研究では、強力なゼロと少数ショットの一般化で知られるラージ ビジョン言語モデル (LVLM) を活用して、監視におけるビデオ理解タスクに取り組むことを提案します。
具体的には、最先端の LVLM である VideoLLaMA2 と、改良されたトークンレベルのサンプリング手法である Self-Reflective Sampling (Self-ReS) を調査します。
UCF-Crime データセットに対する私たちの実験では、VideoLLaMA2 がベースラインを 20% 上回るゼロショット パフォーマンスの大幅な飛躍を示していることがわかりました。
Self-ReS はさらに、ゼロショット アクション認識パフォーマンスを 44.6% に向上させます。
これらの結果は、LVLM と改善されたサンプリング技術を組み合わせて、さまざまなシナリオで監視ビデオ分析を進める可能性を浮き彫りにしています。

要約(オリジナル)

The growing demand for surveillance in public spaces presents significant challenges due to the shortage of human resources. Current AI-based video surveillance systems heavily rely on core computer vision models that require extensive finetuning, which is particularly difficult in surveillance settings due to limited datasets and difficult setting (viewpoint, low quality, etc.). In this work, we propose leveraging Large Vision-Language Models (LVLMs), known for their strong zero and few-shot generalization, to tackle video understanding tasks in surveillance. Specifically, we explore VideoLLaMA2, a state-of-the-art LVLM, and an improved token-level sampling method, Self-Reflective Sampling (Self-ReS). Our experiments on the UCF-Crime dataset show that VideoLLaMA2 represents a significant leap in zero-shot performance, with 20% boost over the baseline. Self-ReS additionally increases zero-shot action recognition performance to 44.6%. These results highlight the potential of LVLMs, paired with improved sampling techniques, for advancing surveillance video analysis in diverse scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google