Multi-modal Medical Neurological Image Fusion using Wavelet Pooled Edge Preserving Autoencoder

要約

医用画像融合は、ソース画像モダリティの補完的な診断情報を統合し、根底にある異常の視覚化と分析を改善します。
最近、深層学習ベースのモデルは、特徴抽出、特徴選択、特徴融合タスクを同時に実行することにより、従来の融合手法よりも優れています。
ただし、既存の畳み込みニューラル ネットワーク (CNN) アーキテクチャのほとんどは、従来のプーリングまたはストライド畳み込み戦略を使用して、特徴マップをダウンサンプリングします。
これにより、ソース画像で得られる重要な診断情報やエッジの詳細がぼやけたり失われたりして、特徴抽出プロセスの有効性が薄れます。
したがって、この論文では、エッジを保存する高密度オートエンコーダ ネットワークに基づく、マルチモーダル医療画像のエンドツーエンドの教師なし融合モデルを紹介します。
提案されたモデルでは、特徴マップのウェーブレット分解ベースのアテンション プーリングを使用することにより、特徴抽出が改善されます。
これは、両方のソース画像に存在する細かいエッジの詳細情報を保存するのに役立ち、融合された画像の視覚的認識を向上させます。
さらに、提案されたモデルは、ソース画像の強度分布を捕捉し、診断情報を効果的に保存するのに役立つさまざまな医療画像ペアでトレーニングされています。
実質的な実験が行われ、提案された方法が他の最先端の融合方法と比較して視覚的および定量的な結果が向上することが実証されました。

要約(オリジナル)

Medical image fusion integrates the complementary diagnostic information of the source image modalities for improved visualization and analysis of underlying anomalies. Recently, deep learning-based models have excelled the conventional fusion methods by executing feature extraction, feature selection, and feature fusion tasks, simultaneously. However, most of the existing convolutional neural network (CNN) architectures use conventional pooling or strided convolutional strategies to downsample the feature maps. It causes the blurring or loss of important diagnostic information and edge details available in the source images and dilutes the efficacy of the feature extraction process. Therefore, this paper presents an end-to-end unsupervised fusion model for multimodal medical images based on an edge-preserving dense autoencoder network. In the proposed model, feature extraction is improved by using wavelet decomposition-based attention pooling of feature maps. This helps in preserving the fine edge detail information present in both the source images and enhances the visual perception of fused images. Further, the proposed model is trained on a variety of medical image pairs which helps in capturing the intensity distributions of the source images and preserves the diagnostic information effectively. Substantial experiments are conducted which demonstrate that the proposed method provides improved visual and quantitative results as compared to the other state-of-the-art fusion methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google