Spatio-Temporal Learnable Proposals for End-to-End Video Object Detection

要約

この論文は、ビデオオブジェクト検出のために時間情報を活用することによってオブジェクト提案を生成するという新しいアイデアを提示します。
最新の地域ベースのビデオ オブジェクト検出器の機能集約は、単一フレームの RPN から生成された学習済みの提案に大きく依存しています。
これにより、NMS などの追加コンポーネントが差し迫って導入され、低品質のフレームに関する信頼性の低い提案が生成されます。
これらの制限に取り組むために、SparseR-CNN を使用して時間情報を活用する新しいビデオ オブジェクト検出パイプラインである SparseVOD を紹介します。
特に、Sparse R-CNN の動的ヘッドに 2 つのモジュールを導入します。
まず、Temporal RoI Align 操作に基づく Temporal Feature Extraction モジュールが追加され、RoI 提案機能が抽出されます。
第二に、シーケンスレベルのセマンティックアグリゲーションによって動機付けられ、注意ガイド付きのセマンティック提案機能アグリゲーションモジュールを組み込んで、検出前にオブジェクトの機能表現を強化します。
提案された SparseVOD は、複雑な後処理メソッドのオーバーヘッドを効果的に軽減し、パイプライン全体をエンドツーエンドでトレーニング可能にします。
広範な実験により、私たちの方法がmAPでシングルフレームスパースRCNNを8％〜9％大幅に改善することが示されています。
さらに、ResNet-50 バックボーンを使用して ImageNet VID データセットで最先端の 80.3% mAP を達成することに加えて、当社の SparseVOD は、IoU しきい値の増加 (IoU > 0.5) で既存の提案ベースの方法よりも大幅に優れています。

要約(オリジナル)

This paper presents the novel idea of generating object proposals by leveraging temporal information for video object detection. The feature aggregation in modern region-based video object detectors heavily relies on learned proposals generated from a single-frame RPN. This imminently introduces additional components like NMS and produces unreliable proposals on low-quality frames. To tackle these restrictions, we present SparseVOD, a novel video object detection pipeline that employs Sparse R-CNN to exploit temporal information. In particular, we introduce two modules in the dynamic head of Sparse R-CNN. First, the Temporal Feature Extraction module based on the Temporal RoI Align operation is added to extract the RoI proposal features. Second, motivated by sequence-level semantic aggregation, we incorporate the attention-guided Semantic Proposal Feature Aggregation module to enhance object feature representation before detection. The proposed SparseVOD effectively alleviates the overhead of complicated post-processing methods and makes the overall pipeline end-to-end trainable. Extensive experiments show that our method significantly improves the single-frame Sparse RCNN by 8%-9% in mAP. Furthermore, besides achieving state-of-the-art 80.3% mAP on the ImageNet VID dataset with ResNet-50 backbone, our SparseVOD outperforms existing proposal-based methods by a significant margin on increasing IoU thresholds (IoU > 0.5).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google