FriendNet: Detection-Friendly Dehazing Network

要約

悪天候により撮影された画像の品質が低下することが多く、必然的に先進運転支援システム (ADAS) や自動運転用の最先端の物体検出モデルが導入されます。
この論文では、画像復元と物体検出を組み合わせることで、悪天候下での検出性能を向上させることができるのかという興味深い疑問を提起します。
それに答えるために、我々は、ガイド情報とタスク駆動学習を介して画像のかすみ除去とオブジェクト検出を橋渡しし、検出に優しいかすみ除去を実現する、FriendNet と呼ばれる効果的なアーキテクチャを提案します。
FriendNet は、高品質の認識と高い検出能力の両方を提供することを目指しています。
画像のかすみ除去を前処理として直観的に扱う既存の取り組みとは異なり、FriendNet はこれら 2 つのタスク間に正の相関関係を確立します。
かすみ除去ネットワークによって生成されたクリーンな特徴は、物体検出パフォーマンスの向上に貢献する可能性があります。
逆に、オブジェクト検出は、タスク駆動型学習スキームの下で画像のかすみ除去ネットワークの学習プロセスを決定的にガイドします。
ネットワーク アーキテクチャと学習目標の両方を考慮して、下流のタスクがどのように上流のかすみ除去プロセスをガイドできるかを明らかにします。
当社は、検出情報のネットワークへの統合を容易にするために、Guidance Fusion Block (GFB) と Guide Attendant Block (GAB) を設計しています。
さらに、検出タスク損失の組み込みは、最適化プロセスの改良に役立ちます。
さらに、物理ベースの事前分布を統合して特徴抽出および表現機能を強化する、新しい物理認識特徴拡張ブロック (PFEB) を導入します。
合成データセットと現実世界のデータセットに関する広範な実験により、画質と検出精度の両方において、最先端の方法よりも当社の方法が優れていることが実証されました。
ソースコードは https://github.com/fanyihua0309/FriendNet で入手できます。

要約(オリジナル)

Adverse weather conditions often impair the quality of captured images, inevitably inducing cutting-edge object detection models for advanced driver assistance systems (ADAS) and autonomous driving. In this paper, we raise an intriguing question: can the combination of image restoration and object detection enhance detection performance in adverse weather conditions? To answer it, we propose an effective architecture that bridges image dehazing and object detection together via guidance information and task-driven learning to achieve detection-friendly dehazing, termed FriendNet. FriendNet aims to deliver both high-quality perception and high detection capacity. Different from existing efforts that intuitively treat image dehazing as pre-processing, FriendNet establishes a positive correlation between these two tasks. Clean features generated by the dehazing network potentially contribute to improvements in object detection performance. Conversely, object detection crucially guides the learning process of the image dehazing network under the task-driven learning scheme. We shed light on how downstream tasks can guide upstream dehazing processes, considering both network architecture and learning objectives. We design Guidance Fusion Block (GFB) and Guidance Attention Block (GAB) to facilitate the integration of detection information into the network. Furthermore, the incorporation of the detection task loss aids in refining the optimization process. Additionally, we introduce a new Physics-aware Feature Enhancement Block (PFEB), which integrates physics-based priors to enhance the feature extraction and representation capabilities. Extensive experiments on synthetic and real-world datasets demonstrate the superiority of our method over state-of-the-art methods on both image quality and detection precision. Our source code is available at https://github.com/fanyihua0309/FriendNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google