DREB-Net: Dual-stream Restoration Embedding Blur-feature Fusion Network for High-mobility UAV Object Detection

要約

物体検出アルゴリズムは、無人航空機 (UAV) イメージング システムの極めて重要なコンポーネントであり、複雑な分野で広く使用されています。
ただし、高機動性 UAV によってキャプチャされた画像は、モーション ブラーの問題に悩まされることが多く、高度な物体検出アルゴリズムのパフォーマンスが大幅に妨げられます。
これらの課題に対処するために、私たちは、DREB-Net (Dual-stream Restoration Embedding Blur-feature Fusion Network) という、ぼやけた画像専用に設計された革新的な物体検出アルゴリズムを提案します。
まず、DREB-Net は、トレーニング段階でぼやけた画像復元補助ブランチ (BRAB) を組み込むことで、ぼやけた画像オブジェクト検出の問題の特殊性に対処します。
次に、抽出された浅い特徴をマルチレベル アテンション ガイド付き特徴融合 (MAGFF) モジュールを介して融合し、より豊富な特徴を抽出します。
ここで、MAGFF モジュールは、ブランチに異なる重みを割り当てるローカル アテンション モジュールとグローバル アテンション モジュールで構成されます。
その後、推論フェーズ中に、BRAB の深い特徴抽出を削除して、計算の複雑さを軽減し、検出速度を向上させることができます。
損失関数では、MSE と SSIM の結合損失が BRAB に追加され、ぼやけた画像が復元されます。
最後に、DREB-Net は、学習可能な周波数領域振幅変調モジュール (LFAMM) を介して、特徴抽出の初期段階で高速フーリエ変換を導入し、特徴の振幅を調整し、特徴の処理能力を強化します。
実験結果は、DREB-Net がキャプチャされた画像のモーション ブラーの下でも効果的に物体検出タスクを実行できることを示しており、優れたパフォーマンスと広範なアプリケーションの見通しを示しています。
私たちのソース コードは https://github.com/EEIC-Lab/DREB-Net.git で入手できます。

要約(オリジナル)

Object detection algorithms are pivotal components of unmanned aerial vehicle (UAV) imaging systems, extensively employed in complex fields. However, images captured by high-mobility UAVs often suffer from motion blur cases, which significantly impedes the performance of advanced object detection algorithms. To address these challenges, we propose an innovative object detection algorithm specifically designed for blurry images, named DREB-Net (Dual-stream Restoration Embedding Blur-feature Fusion Network). First, DREB-Net addresses the particularities of blurry image object detection problem by incorporating a Blurry image Restoration Auxiliary Branch (BRAB) during the training phase. Second, it fuses the extracted shallow features via Multi-level Attention-Guided Feature Fusion (MAGFF) module, to extract richer features. Here, the MAGFF module comprises local attention modules and global attention modules, which assign different weights to the branches. Then, during the inference phase, the deep feature extraction of the BRAB can be removed to reduce computational complexity and improve detection speed. In loss function, a combined loss of MSE and SSIM is added to the BRAB to restore blurry images. Finally, DREB-Net introduces Fast Fourier Transform in the early stages of feature extraction, via a Learnable Frequency domain Amplitude Modulation Module (LFAMM), to adjust feature amplitude and enhance feature processing capability. Experimental results indicate that DREB-Net can still effectively perform object detection tasks under motion blur in captured images, showcasing excellent performance and broad application prospects. Our source code will be available at https://github.com/EEIC-Lab/DREB-Net.git.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google