FAQ: Feature Aggregated Queries for Transformer-based Video Object Detectors

要約

ビデオ オブジェクト検出では、画像ドメインではめったに発生しない機能低下の状況を解決する必要があります。
1 つの解決策は、時間情報を使用して、隣接するフレームの特徴を融合することです。
Transformer ベースのオブジェクト検出器が画像ドメイン タスクで優れたパフォーマンスを発揮するようになったため、最近の研究ではこれらの方法をビデオ オブジェクト検出に拡張し始めました。
ただし、これらの既存の Transformer ベースのビデオ オブジェクト検出器は、従来のオブジェクト検出器に使用されるものと同じパイプラインに従います。たとえば、オブジェクトの特徴表現を集約によって強化します。
この作業では、ビデオ オブジェクトの検出について別の視点を取ります。
詳細には、集計によって Transformer ベースのモデルのクエリの品質を向上させます。
この目標を達成するために、最初に、隣接するフレームの特徴に従ってクエリを加重平均するバニラクエリ集約モジュールを提案します。
次に、vanilla モジュールをより実用的なバージョンに拡張し、入力フレームの機能に従ってクエリを生成および集約します。
広範な実験結果により、提案された方法の有効性が検証されています。挑戦的な ImageNet VID ベンチマークでは、提案されたモジュールと統合すると、現在の最先端の Transformer ベースのオブジェクト検出器を mAP で 2.4% 以上改善できます。
AP50 で 4.2%。

要約(オリジナル)

Video object detection needs to solve feature degradation situations that rarely happen in the image domain. One solution is to use the temporal information and fuse the features from the neighboring frames. With Transformerbased object detectors getting a better performance on the image domain tasks, recent works began to extend those methods to video object detection. However, those existing Transformer-based video object detectors still follow the same pipeline as those used for classical object detectors, like enhancing the object feature representations by aggregation. In this work, we take a different perspective on video object detection. In detail, we improve the qualities of queries for the Transformer-based models by aggregation. To achieve this goal, we first propose a vanilla query aggregation module that weighted averages the queries according to the features of the neighboring frames. Then, we extend the vanilla module to a more practical version, which generates and aggregates queries according to the features of the input frames. Extensive experimental results validate the effectiveness of our proposed methods: On the challenging ImageNet VID benchmark, when integrated with our proposed modules, the current state-of-the-art Transformer-based object detectors can be improved by more than 2.4% on mAP and 4.2% on AP50.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google