Zero-Shot Action Recognition in Surveillance Videos

要約

公共スペースでの監視に対する需要の高まりは、人的資源の不足により大きな課題を提示します。
現在のAIベースのビデオ監視システムは、広範な微調整を必要とするコアコンピュータービジョンモデルに大きく依存しています。これは、限られたデータセットと困難な設定（視点、低品質など）のために監視設定で特に困難です。
この作業では、監視におけるビデオ理解タスクに取り組むために、強力なゼロと少数のショットの一般化で知られる大きなビジョン言語モデル（LVLMS）を活用することを提案します。
具体的には、Videollama2、最先端のLVLM、および改善されたトークンレベルのサンプリング方法、自己反射サンプリング（自己救済）を探索します。
UCF犯罪データセットでの実験は、Videollama2がゼロショットパフォーマンスの大幅な飛躍を表しており、ベースラインを20％増加させることを示しています。
さらに、自己はゼロショットアクション認識パフォーマンスを44.6％に増加させます。
これらの結果は、多様なシナリオで監視ビデオ分析を進めるために、改善されたサンプリング手法と組み合わせたLVLMSの可能性を強調しています。

要約(オリジナル)

The growing demand for surveillance in public spaces presents significant challenges due to the shortage of human resources. Current AI-based video surveillance systems heavily rely on core computer vision models that require extensive finetuning, which is particularly difficult in surveillance settings due to limited datasets and difficult setting (viewpoint, low quality, etc.). In this work, we propose leveraging Large Vision-Language Models (LVLMs), known for their strong zero and few-shot generalization, to tackle video understanding tasks in surveillance. Specifically, we explore VideoLLaMA2, a state-of-the-art LVLM, and an improved token-level sampling method, Self-Reflective Sampling (Self-ReS). Our experiments on the UCF-Crime dataset show that VideoLLaMA2 represents a significant leap in zero-shot performance, with 20% boost over the baseline. Self-ReS additionally increases zero-shot action recognition performance to 44.6%. These results highlight the potential of LVLMs, paired with improved sampling techniques, for advancing surveillance video analysis in diverse scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google