Source-free Domain Adaptation for Video Object Detection Under Adverse Image Conditions

要約

事前トレーニングされたビデオ オブジェクト検出器を現実世界のシナリオに導入する場合、不利な画像条件によって引き起こされるトレーニング データとテスト データ間のドメイン ギャップがパフォーマンスの低下につながることがよくあります。
事前トレーニングされたモデルと劣化したビデオしか利用できない場合、この問題に対処することは特に困難になります。
単一フレームのオブジェクト検出器用にさまざまなソースフリー ドメイン アダプテーション (SFDA) 方法が提案されていますが、ビデオ オブジェクト検出 (VOD) 用の SFDA は未開発のままです。
さらに、物体検出のためのほとんどの教師なしドメイン適応作業は 2 段階検出器に依存していますが、微調整に対してより脆弱な 1 段階検出器の SFDA については文献で十分に取り上げられていません。
この論文では、VOD 向けのシンプルかつ効果的な SFDA 手法である、平均教師による時空間代替リファインメント (STAR-MT) を提案します。
具体的には、ノイズ、乱気流、かすみなどの不利な画像条件下での 1 段階 VOD 方式 YOLOV のパフォーマンスを向上させることを目指しています。
ImageNetVOD データセットとその劣化バージョンに関する広範な実験により、私たちの手法が困難なイメージング条件においてビデオ オブジェクト検出パフォーマンスを一貫して向上させることが実証され、現実世界のアプリケーションへの可能性が示されています。

要約(オリジナル)

When deploying pre-trained video object detectors in real-world scenarios, the domain gap between training and testing data caused by adverse image conditions often leads to performance degradation. Addressing this issue becomes particularly challenging when only the pre-trained model and degraded videos are available. Although various source-free domain adaptation (SFDA) methods have been proposed for single-frame object detectors, SFDA for video object detection (VOD) remains unexplored. Moreover, most unsupervised domain adaptation works for object detection rely on two-stage detectors, while SFDA for one-stage detectors, which are more vulnerable to fine-tuning, is not well addressed in the literature. In this paper, we propose Spatial-Temporal Alternate Refinement with Mean Teacher (STAR-MT), a simple yet effective SFDA method for VOD. Specifically, we aim to improve the performance of the one-stage VOD method, YOLOV, under adverse image conditions, including noise, air turbulence, and haze. Extensive experiments on the ImageNetVOD dataset and its degraded versions demonstrate that our method consistently improves video object detection performance in challenging imaging conditions, showcasing its potential for real-world applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google