Exploring Resolution and Degradation Clues as Self-supervised Signal for Low Quality Object Detection

要約

超解像（SR）などの画像復元アルゴリズムは、低画質画像における物体検出のために不可欠な前処理モジュールである。これらのアルゴリズムの多くは、劣化が固定で先験的に分かっていることを前提としている。しかし、現実には、実際の劣化や最適なアップサンプリングレートが不明であったり、仮定と異なる場合があり、前処理モジュールとその結果である物体検出などの高レベルタスクの両方において性能低下を引き起こす。本論文では、劣化した低解像度画像から物体を検出するための自己教師付きフレームワークを提案する。我々は、自己教師付き信号のための一種の変換としてダウンサンプリング劣化を利用し、様々な解像度や他の劣化条件に対する等変量表現を探索する。AERIS（Auto Encoding Resolution in Self-supervision）フレームワークは、劣化した入力画像から元の対応を復元するための任意の解像度復元デコーダを持つ高度なSRアーキテクチャの利点をさらに活用することができる。表現学習と物体検出の両方は、エンドツーエンドの学習方式で共同で最適化される。汎用的なAERISフレームワークは、異なるバックボーンを持つ様々な主流のオブジェクト検出アーキテクチャに実装することが可能である。広範な実験により、我々の手法は、様々な劣化状況に直面したときに、既存の手法と比較して優れた性能を達成したことが示された。コードは、https://github.com/cuiziteng/ECCV_AERIS で公開される予定である。

要約(オリジナル)

Image restoration algorithms such as super resolution (SR) are indispensable pre-processing modules for object detection in low quality images. Most of these algorithms assume the degradation is fixed and known a priori. However, in practical, either the real degradation or optimal up-sampling ratio rate is unknown or differs from assumption, leading to a deteriorating performance for both the pre-processing module and the consequent high-level task such as object detection. Here, we propose a novel self-supervised framework to detect objects in degraded low resolution images. We utilizes the downsampling degradation as a kind of transformation for self-supervised signals to explore the equivariant representation against various resolutions and other degradation conditions. The Auto Encoding Resolution in Self-supervision (AERIS) framework could further take the advantage of advanced SR architectures with an arbitrary resolution restoring decoder to reconstruct the original correspondence from the degraded input image. Both the representation learning and object detection are optimized jointly in an end-to-end training fashion. The generic AERIS framework could be implemented on various mainstream object detection architectures with different backbones. The extensive experiments show that our methods has achieved superior performance compared with existing methods when facing variant degradation situations. Code would be released at https://github.com/cuiziteng/ECCV_AERIS.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL