FusionINN: Invertible Image Fusion for Brain Tumor Monitoring

要約

画像融合では通常、非可逆ニューラル ネットワークを使用して、複数のソース画像を 1 つの融合画像にマージします。
ただし、臨床専門家にとって、融合メカニズムはソース画像の特徴をブレンドするため、根底にある腫瘍病理の解釈が困難になるため、融合画像のみに依存して診断を決定するのは不十分な場合があります。
FusionINN は、新しい反転可能な画像融合フレームワークであり、融合画像を効率的に生成し、融合プロセスの逆を解くことでソース画像に分解することもできます。
FusionINN は、分解プロセスの生成モデリングを容易にするために、融合イメージと並行して正規分布した潜像を統合することにより、ロスレスの 1 対 1 ピクセル マッピングを保証します。
私たちの知る限り、私たちは融合画像の分解可能性を初めて調査しました。これは、多焦点や多重露出画像融合などの他のタスクと比較して、医療画像融合などの生命に関わるアプリケーションにとって特に重要です。
私たちの広範な実験により、主観的および客観的に、既存の識別および生成融合手法よりも FusionINN が有効であることが検証されています。
さらに、最近のノイズ除去拡散ベースの融合モデルと比較して、私たちのアプローチはより高速で質的に優れた融合結果を提供します。
また、病気の予後を助けるという結果の臨床的有用性も示します。

要約(オリジナル)

Image fusion typically employs non-invertible neural networks to merge multiple source images into a single fused image. However, for clinical experts, solely relying on fused images may be insufficient for making diagnostic decisions, as the fusion mechanism blends features from source images, thereby making it difficult to interpret the underlying tumor pathology. We introduce FusionINN, a novel invertible image fusion framework, capable of efficiently generating fused images and also decomposing them back to the source images by solving the inverse of the fusion process. FusionINN guarantees lossless one-to-one pixel mapping by integrating a normally distributed latent image alongside the fused image to facilitate the generative modeling of the decomposition process. To the best of our knowledge, we are the first to investigate the decomposability of fused images, which is particularly crucial for life-sensitive applications such as medical image fusion compared to other tasks like multi-focus or multi-exposure image fusion. Our extensive experimentation validates FusionINN over existing discriminative and generative fusion methods, both subjectively and objectively. Moreover, compared to a recent denoising diffusion-based fusion model, our approach offers faster and qualitatively better fusion results. We also exhibit the clinical utility of our results in aiding disease prognosis.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google