Boosting Object Detection with Zero-Shot Day-Night Domain Adaptation

要約

明るいデータでトレーニングされた検出器は、視界が悪いため、暗いデータでは大幅なパフォーマンスの低下を示すため、低照度のシナリオで物体を検出することは永続的な課題となります。
以前の方法では、実際の低照度画像データセットを使用した画像強調またはオブジェクト検出技術を検討することで、この問題を軽減しました。
しかし、低照度画像の収集と注釈付けに関する固有の困難により、その進歩は妨げられています。
この課題に対処するために、ゼロショット昼夜領域適応により低照度の物体検出を強化することを提案します。これは、実際の低照度データを必要とせずに、検出器を明るいシナリオから低照度のシナリオに一般化することを目的としています。
低レベルの視覚における Retinex 理論を再検討し、慎重に設計された照明不変性強化戦略を使用して画像内の Retinex ベースの照明不変性を学習するための反射率表現学習モジュールを最初に設計します。
次に、交換-再分解-コヒーレンス手順が導入され、2 つの連続した画像分解を実行し、再分解コヒーレンス損失を導入することで、通常の Retinex 画像分解プロセスを改善します。
ExDark、DARK FACE、および CODaN データセットに対する広範な実験により、私たちの手法の低照度での強力な一般化可能性が示されています。
私たちのコードは https://github.com/ZPDu/DAI-Net で入手できます。

要約(オリジナル)

Detecting objects in low-light scenarios presents a persistent challenge, as detectors trained on well-lit data exhibit significant performance degradation on low-light data due to low visibility. Previous methods mitigate this issue by exploring image enhancement or object detection techniques with real low-light image datasets. However, the progress is impeded by the inherent difficulties about collecting and annotating low-light images. To address this challenge, we propose to boost low-light object detection with zero-shot day-night domain adaptation, which aims to generalize a detector from well-lit scenarios to low-light ones without requiring real low-light data. Revisiting Retinex theory in the low-level vision, we first design a reflectance representation learning module to learn Retinex-based illumination invariance in images with a carefully designed illumination invariance reinforcement strategy. Next, an interchange-redecomposition-coherence procedure is introduced to improve over the vanilla Retinex image decomposition process by performing two sequential image decompositions and introducing a redecomposition cohering loss. Extensive experiments on ExDark, DARK FACE, and CODaN datasets show strong low-light generalizability of our method. Our code is available at https://github.com/ZPDu/DAI-Net.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google