Traffic Video Object Detection using Motion Prior

要約

交通ビデオは、固定カメラのセットアップにおいて一般的なビデオとは本質的に異なるため、物体が短時間の間に特定の方向に移動することが多い、強い動きを事前に提供します。
既存の研究では、交通ビデオ オブジェクト検出に一般的なビデオ オブジェクト検出フレームワークが主に採用されており、さまざまなシナリオに対する幅広い適用性や堅牢性などの利点が得られます。
ただし、検出精度を高める前に、動きの強さを利用することができません。
この研究では、モーション プリアを活用し、完全教師ありおよび半教師ありの両方の交通ビデオ オブジェクト検出のパフォーマンスを向上させる 2 つの革新的な方法を提案します。
まず、完全に監視された設定で時間的情報統合をガイドする前に、動きを利用する新しい自己注意モジュールを導入します。
第二に、擬似ラベル付けメカニズムを開発する前にこの動きを利用して、半教師あり設定のノイズの多い擬似ラベルを排除します。
私たちのモーション優先中心の手法はどちらも一貫して優れたパフォーマンスを示しており、mAP の点で既存の最先端のアプローチを 2% 上回るパフォーマンスを示しています。

要約(オリジナル)

Traffic videos inherently differ from generic videos in their stationary camera setup, thus providing a strong motion prior where objects often move in a specific direction over a short time interval. Existing works predominantly employ generic video object detection framework for traffic video object detection, which yield certain advantages such as broad applicability and robustness to diverse scenarios. However, they fail to harness the strength of motion prior to enhance detection accuracy. In this work, we propose two innovative methods to exploit the motion prior and boost the performance of both fully-supervised and semi-supervised traffic video object detection. Firstly, we introduce a new self-attention module that leverages the motion prior to guide temporal information integration in the fully-supervised setting. Secondly, we utilise the motion prior to develop a pseudo-labelling mechanism to eliminate noisy pseudo labels for the semi-supervised setting. Both of our motion-prior-centred methods consistently demonstrates superior performance, outperforming existing state-of-the-art approaches by a margin of 2% in terms of mAP.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google