Implicit Neural Feature Fusion Function for Multispectral and Hyperspectral Image Fusion

要約

マルチスペクトルとハイパースペクトル画像の融合 (MHIF) は、同じシーンの高解像度マルチスペクトル画像 (HR-MSI) と低解像度ハイパースペクトル画像 (LR-HSI) を融合して、高解像度のハイパースペクトル画像を取得することを目的とした実用的なタスクです。
画像（HR-HSI）。
強力な誘導バイアス機能の恩恵を受けて、CNN ベースの手法は MHIF タスクで大きな成功を収めました。
ただし、特定の解釈可能性に欠けており、パフォーマンスを向上させるために畳み込み構造を積み重ねる必要があります。
最近、Implicit Neural Representation (INR) は、サンプルを局所的に補間し、ピクセルや座標などのマルチモーダル コンテンツを利用できる機能により、2D タスクで優れたパフォーマンスと解釈可能性を実現しました。
INR ベースのアプローチは有望ですが、高周波情報の追加の構築 (\emph{例} 位置エンコーディング) が必要です。
この論文では、MHIF タスクの以前の研究に触発され、HR-MSI が高周波詳細補助入力として機能できることを認識し、Implicit Neural Feature Fusion Function (INF) と呼ばれる新しい INR ベースのハイパースペクトル融合関数を提案することにしました。
。
精緻な構造として、MHIF タスクを解決し、INR ベースのアプローチの欠陥に対処します。
具体的には、当社の INF は、HR-MSI と LR-HSI から高周波情報を 2 回取得し、それらを座標情報と微妙に融合する Dual High-Frequency Fusion (DHFF) 構造を設計しています。
さらに、提案された INF には、コサイン類似度を使用して特徴ベクトルを通じて局所的な重みを生成する、コサイン類似度付き INR (INR-CS) と呼ばれるパラメーターフリーの方法が組み込まれています。
INF に基づいて、CAVE と Harvard という 2 つの公開データセットの MHIF タスクに対して最先端のパフォーマンスを実現する Implicit Neural Fusion Network (INFN) を構築します。
コードは間もなく GitHub で公開される予定です。

要約(オリジナル)

Multispectral and Hyperspectral Image Fusion (MHIF) is a practical task that aims to fuse a high-resolution multispectral image (HR-MSI) and a low-resolution hyperspectral image (LR-HSI) of the same scene to obtain a high-resolution hyperspectral image (HR-HSI). Benefiting from powerful inductive bias capability, CNN-based methods have achieved great success in the MHIF task. However, they lack certain interpretability and require convolution structures be stacked to enhance performance. Recently, Implicit Neural Representation (INR) has achieved good performance and interpretability in 2D tasks due to its ability to locally interpolate samples and utilize multimodal content such as pixels and coordinates. Although INR-based approaches show promise, they require extra construction of high-frequency information (\emph{e.g.,} positional encoding). In this paper, inspired by previous work of MHIF task, we realize that HR-MSI could serve as a high-frequency detail auxiliary input, leading us to propose a novel INR-based hyperspectral fusion function named Implicit Neural Feature Fusion Function (INF). As an elaborate structure, it solves the MHIF task and addresses deficiencies in the INR-based approaches. Specifically, our INF designs a Dual High-Frequency Fusion (DHFF) structure that obtains high-frequency information twice from HR-MSI and LR-HSI, then subtly fuses them with coordinate information. Moreover, the proposed INF incorporates a parameter-free method named INR with cosine similarity (INR-CS) that uses cosine similarity to generate local weights through feature vectors. Based on INF, we construct an Implicit Neural Fusion Network (INFN) that achieves state-of-the-art performance for MHIF tasks of two public datasets, \emph{i.e.,} CAVE and Harvard. The code will soon be made available on GitHub.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google