E2E-MFD: Towards End-to-End Synchronous Multimodal Fusion Detection

要約

マルチモーダル画像融合と物体検出は自動運転にとって重要です。
現在の手法ではテクスチャの詳細とセマンティック情報の融合が進んでいますが、その複雑なトレーニング プロセスが広範な応用の妨げになっています。
この課題に対処するために、マルチモーダル フュージョン検出のための新しいエンドツーエンド アルゴリズムである E2E-MFD を導入します。
E2E-MFD はプロセスを合理化し、単一のトレーニング フェーズで高いパフォーマンスを実現します。
コンポーネント間で同期的な共同最適化を採用し、個々のタスクに関連付けられた次善のソリューションを回避します。
さらに、共有パラメーターの勾配マトリックスに包括的な最適化戦略を実装し、最適な融合検出構成への収​​束を保証します。
複数の公開データセットに対する広範なテストにより、E2E-MFD の優れた機能が明らかになり、視覚的に魅力的な画像融合だけでなく、水平物体検出データセット M3FD および指向性物体検出データセット DroneVehicle での mAP50 の 3.9% および 2.0% の増加など、印象的な検出結果も示されました。
それぞれ、最先端のアプローチと比較しました。
コードは https://github.com/icey-zhang/E2E-MFD で公開されています。

要約(オリジナル)

Multimodal image fusion and object detection are crucial for autonomous driving. While current methods have advanced the fusion of texture details and semantic information, their complex training processes hinder broader applications. Addressing this challenge, we introduce E2E-MFD, a novel end-to-end algorithm for multimodal fusion detection. E2E-MFD streamlines the process, achieving high performance with a single training phase. It employs synchronous joint optimization across components to avoid suboptimal solutions tied to individual tasks. Furthermore, it implements a comprehensive optimization strategy in the gradient matrix for shared parameters, ensuring convergence to an optimal fusion detection configuration. Our extensive testing on multiple public datasets reveals E2E-MFD’s superior capabilities, showcasing not only visually appealing image fusion but also impressive detection outcomes, such as a 3.9% and 2.0% mAP50 increase on horizontal object detection dataset M3FD and oriented object detection dataset DroneVehicle, respectively, compared to state-of-the-art approaches. The code is released at https://github.com/icey-zhang/E2E-MFD.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google