Removal and Selection: Improving RGB-Infrared Object Detection via Coarse-to-Fine Fusion

要約

可視（RGB）画像および赤外線（IR）画像における物体検出は、近年広く適用されています。
RGB と IR 画像の相補的な特性を活用して、物体検出器は昼から夜まで信頼性が高く堅牢な物体位置特定を提供します。
既存の融合戦略では、RGB および IR 画像を畳み込みニューラル ネットワークに直接注入するため、検出パフォーマンスが低下します。
RGB および IR 特徴にはモダリティ固有のノイズがあるため、これらの戦略は伝播とともに融合特徴を悪化させます。
マルチモーダル情報を処理する人間の脳のメカニズムに触発されたこの作品は、2 つのモダリティの特徴を純化して融合するための、粗いものから細かいものへの新しい視点を導入しています。
具体的には、この観点に従って、各モダリティ内の干渉情報を大まかに除去する冗長スペクトル除去モジュールと、特徴融合に必要な特徴を細かく選択する動的特徴選択モジュールを設計します。
粗いものから細かいものへの融合戦略の有効性を検証するために、除去および選択検出器 (RSDet) と呼ばれる新しいオブジェクト検出器を構築します。
3 つの RGB-IR 物体検出データセットに対する広範な実験により、私たちの方法の優れたパフォーマンスが検証されました。

要約(オリジナル)

Object detection in visible (RGB) and infrared (IR) images has been widely applied in recent years. Leveraging the complementary characteristics of RGB and IR images, the object detector provides reliable and robust object localization from day to night. Existing fusion strategies directly inject RGB and IR images into convolution neural networks, leading to inferior detection performance. Since the RGB and IR features have modality-specific noise, these strategies will worsen the fused features along with the propagation. Inspired by the mechanism of human brain processing multimodal information, this work introduces a new coarse-to-fine perspective to purify and fuse two modality features. Specifically, following this perspective, we design a Redundant Spectrum Removal module to coarsely remove interfering information within each modality and a Dynamic Feature Selection module to finely select the desired features for feature fusion. To verify the effectiveness of the coarse-to-fine fusion strategy, we construct a new object detector called Removal and Selection Detector (RSDet). Extensive experiments on three RGB-IR object detection datasets verify the superior performance of our method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google