A Lightweight Dual-Branch System for Weakly-Supervised Video Anomaly Detection on Consumer Edge Devices

要約

スマートホームカメラや個人監視システムなど、家電のインテリジェントなセキュリティに対する需要の高まりは、多くの場合、高い計算コストと高度なAIの大きなモデルサイズによって妨げられます。
これらの制限により、リソース制約のエッジデバイスでのリアルタイムビデオアノマリー検出（VAD）の効果的な展開が妨げられます。
このギャップを埋めるために、このペーパーでは、消費者ハードウェアで直接高効率で低複雑さの脅威検出を実現するために設計された斬新で軽量システムであるルールベースのビデオアノマリー検出（Rulevad）を紹介します。
Rulevadは、計算負荷を最小限に抑えるために、革新的な分離されたデュアルブランチアーキテクチャを特徴としています。
暗黙のブランチは、視覚的な機能を使用して、迅速で粗粒のバイナリ分類を行い、不必要な処理を避けるために通常のアクティビティを効率的に除外します。
潜在的に異常または複雑なイベントの場合、マルチモーダルの明示的ブランチが引き継ぎます。
このブランチは、Yolo-Worldを活用してオブジェクトを検出し、データマイニングを適用して、シーンから解釈可能なテキストベースの関連ルールを生成します。
これらのルールを視覚データに合わせることにより、Rulevadはより微妙で微調整された分類を実現し、視覚のみのシステムで一般的な誤ったアラームを大幅に削減します。
XD暴力およびUCF犯罪ベンチマークデータセットに関する広範な実験は、Rulevadが優れたパフォーマンスを達成し、精度と速度の両方で既存の最先端の方法を上回ることを示しています。
重要なことに、システム全体が低電力操作に最適化されており、Nvidia Jetson Nanoボードに完全に展開でき、日常の消費者電子機器に高度でリアルタイムのセキュリティ監視を提供するための実用的な実現可能性を実証しています。

要約(オリジナル)

The growing demand for intelligent security in consumer electronics, such as smart home cameras and personal monitoring systems, is often hindered by the high computational cost and large model sizes of advanced AI. These limitations prevent the effective deployment of real-time Video Anomaly Detection (VAD) on resource-constrained edge devices. To bridge this gap, this paper introduces Rule-based Video Anomaly Detection (RuleVAD), a novel, lightweight system engineered for high-efficiency and low-complexity threat detection directly on consumer hardware. RuleVAD features an innovative decoupled dual-branch architecture to minimize computational load. An implicit branch uses visual features for rapid, coarse-grained binary classification, efficiently filtering out normal activity to avoid unnecessary processing. For potentially anomalous or complex events, a multimodal explicit branch takes over. This branch leverages YOLO-World to detect objects and applies data mining to generate interpretable, text-based association rules from the scene. By aligning these rules with visual data, RuleVAD achieves a more nuanced, fine-grained classification, significantly reducing the false alarms common in vision-only systems. Extensive experiments on the XD-Violence and UCF-Crime benchmark datasets show that RuleVAD achieves superior performance, surpassing existing state-of-the-art methods in both accuracy and speed. Crucially, the entire system is optimized for low-power operation and is fully deployable on an NVIDIA Jetson Nano board, demonstrating its practical feasibility for bringing advanced, real-time security monitoring to everyday consumer electronic devices.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google