Multispectral image fusion based on super pixel segmentation

要約

マルチスペクトル画像融合は、リモートセンシングに不可欠なコンピュータビジョンプロセスである。デヘイズや物体検出などのアプリケーションでは、どのような種類のシーンでもリアルタイムに実行できるソリューションを提供することが求められています。残念ながら、現在の最先端のアプローチは、ドメイン固有のデータで学習する必要があり、高い計算複雑性を持つため、これらの基準を満たすことはできない。本論文では、マルチスペクトルカメラのように、この典型的なRGBTセンサとして、カラー（RGB）と近赤外線（NIR）画像を融合し、検出、融合、デヘイズするタスクに焦点を当てます。実際、NIRチャンネルはRGBでは見えない詳細な情報をとらえ、霞や霧、雲を見通すことができる能力があります。この情報を組み合わせるために、スーパーピクセルセグメンテーションに基づく新しいアプローチを設計し、マルチスペクトル画像融合が融合される画像の特定のローカルコンテンツに従って実行されるようにします。したがって、提案手法は、各スペクトルの最も関連性の高い内容を含む融合を生成する。本論文で報告された実験により、この新しいアプローチは、他の融合方法よりも細部をよりよく保存することが示された。

要約(オリジナル)

Multispectral image fusion is a computer vision process that is essential to remote sensing. For applications such as dehazing and object detection, there is a need to offer solutions that can perform in real-time on any type of scene. Unfortunately, current state-of-the-art approaches do not meet these criteria as they need to be trained on domain-specific data and have high computational complexity. This paper focuses on the task of fusing color (RGB) and near-infrared (NIR) images as this the typical RGBT sensors, as in multispectral cameras for detection, fusion, and dehazing. Indeed, the NIR channel has the ability to capture details not visible in RGB and see beyond haze, fog, and clouds. To combine this information, a novel approach based on superpixel segmentation is designed so that multispectral image fusion is performed according to the specific local content of the images to be fused. Therefore, the proposed method produces a fusion that contains the most relevant content of each spectrum. The experiments reported in this manuscript show that the novel approach better preserve details than alternative fusion methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL