FriendNet: Detection-Friendly Dehazing Network

要約

有害な気象条件は、多くの場合、キャプチャされた画像の品質を損ない、必然的に高度なドライバーアシスタンスシステム（ADA）と自律運転の最先端のオブジェクト検出モデルを誘導します。
この論文では、興味深い質問を提起します。画像の修復とオブジェクトの検出の組み合わせは、有害な気象条件での検出性能を高めることができますか？
それに答えるために、ガイダンス情報とタスク駆動型の学習を介して画像の脱ヘージとオブジェクトの検出を一緒に橋渡しする効果的なアーキテクチャを提案します。
FriendNetは、高品質の認識と高い検出能力の両方を提供することを目指しています。
画像の脱毛を前処理として直感的に扱う既存の取り組みとは異なり、FriendNetはこれら2つのタスク間の正の相関を確立します。
Dehazing Networkによって生成されたクリーンな機能は、オブジェクト検出パフォーマンスの改善に貢献する可能性があります。
逆に、オブジェクト検出は、タスク駆動型学習スキームの下で画像脱ヘイジングネットワークの学習プロセスを決定的にガイドします。
ネットワークアーキテクチャと学習の目標の両方を考慮して、下流のタスクが上流の脱線プロセスをどのように導くことができるかに光を当てました。
ガイダンス融合ブロック（GFB）とガイダンスの注意ブロック（GAB）を設計して、検出情報のネットワークへの統合を容易にします。
さらに、検出タスク損失の組み込みは、最適化プロセスの改良に役立ちます。
さらに、物理学ベースのプライアーを統合して特徴の抽出と表現機能を強化する新しい物理学的特徴エンハンスメントブロック（PFEB）を導入します。
合成および実世界のデータセットに関する広範な実験は、画質と検出精度の両方に関する最先端の方法よりも、私たちの方法の優位性を示しています。
ソースコードは、https：//github.com/fanyihua0309/friendnetで入手できます。

要約(オリジナル)

Adverse weather conditions often impair the quality of captured images, inevitably inducing cutting-edge object detection models for advanced driver assistance systems (ADAS) and autonomous driving. In this paper, we raise an intriguing question: can the combination of image restoration and object detection enhance detection performance in adverse weather conditions? To answer it, we propose an effective architecture that bridges image dehazing and object detection together via guidance information and task-driven learning to achieve detection-friendly dehazing, termed FriendNet. FriendNet aims to deliver both high-quality perception and high detection capacity. Different from existing efforts that intuitively treat image dehazing as pre-processing, FriendNet establishes a positive correlation between these two tasks. Clean features generated by the dehazing network potentially contribute to improvements in object detection performance. Conversely, object detection crucially guides the learning process of the image dehazing network under the task-driven learning scheme. We shed light on how downstream tasks can guide upstream dehazing processes, considering both network architecture and learning objectives. We design Guidance Fusion Block (GFB) and Guidance Attention Block (GAB) to facilitate the integration of detection information into the network. Furthermore, the incorporation of the detection task loss aids in refining the optimization process. Additionally, we introduce a new Physics-aware Feature Enhancement Block (PFEB), which integrates physics-based priors to enhance the feature extraction and representation capabilities. Extensive experiments on synthetic and real-world datasets demonstrate the superiority of our method over state-of-the-art methods on both image quality and detection precision. Our source code is available at https://github.com/fanyihua0309/FriendNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google