Is Underwater Image Enhancement All Object Detectors Need?

要約

水中物体の検出は、海洋工学および水中ロボットにおいて重要かつ困難な問題です。
この困難の一部は、光の選択的な吸収と散乱によって引き起こされる水中画像の劣化にあります。
直感的には、水中画像を強化すると、水中物体検出などの高レベルのアプリケーションにメリットが得られます。
ただし、すべての物体検出器に前処理として水中画像強調が必要かどうかはまだ不明です。
そこで私たちは、「水中画像強調は本当に水中物体の検出を改善するのか？」という疑問を投げかけます。
「水中画像の強調は水中物体の検出にどのように貢献しますか?」
この 2 つの疑問をもとに、私たちは徹底的な研究を行います。
具体的には、従来の CNN ベース、GAN ベースのアルゴリズムを含む 18 の最先端の水中画像強調アルゴリズムを使用して、水中物体検出データを前処理します。
次に、さまざまなアルゴリズムによって強化された対応する結果を使用して、7 つの一般的な深層学習ベースの物体検出器を再トレーニングし、126 個の水中物体検出モデルを取得します。
生の水中画像を使用して再トレーニングされた 7 つの物体検出モデルと組み合わせて、これら 133 のモデルを使用して、水中画像強調が水中物体検出に及ぼす影響を包括的に分析します。
私たちは、この研究が前述の質問に答えるのに十分な調査を提供し、水中画像の強調と水中物体の検出という共通の問題にコミュニティの注目をさらに集めることができると期待しています。
事前トレーニングされたモデルと結果は公開されており、定期的に更新されます。
プロジェクトページ: https://github.com/BIGWangYuDong/lqit/tree/main/configs/detection/uw_enhancement_affect_detection

要約(オリジナル)

Underwater object detection is a crucial and challenging problem in marine engineering and aquatic robot. The difficulty is partly because of the degradation of underwater images caused by light selective absorption and scattering. Intuitively, enhancing underwater images can benefit high-level applications like underwater object detection. However, it is still unclear whether all object detectors need underwater image enhancement as pre-processing. We therefore pose the questions ‘Does underwater image enhancement really improve underwater object detection?’ and ‘How does underwater image enhancement contribute to underwater object detection?’. With these two questions, we conduct extensive studies. Specifically, we use 18 state-of-the-art underwater image enhancement algorithms, covering traditional, CNN-based, and GAN-based algorithms, to pre-process underwater object detection data. Then, we retrain 7 popular deep learning-based object detectors using the corresponding results enhanced by different algorithms, obtaining 126 underwater object detection models. Coupled with 7 object detection models retrained using raw underwater images, we employ these 133 models to comprehensively analyze the effect of underwater image enhancement on underwater object detection. We expect this study can provide sufficient exploration to answer the aforementioned questions and draw more attention of the community to the joint problem of underwater image enhancement and underwater object detection. The pre-trained models and results are publicly available and will be regularly updated. Project page: https://github.com/BIGWangYuDong/lqit/tree/main/configs/detection/uw_enhancement_affect_detection.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google