A New Multimodal Medical Image Fusion based on Laplacian Autoencoder with Channel Attention

要約

医用画像融合は、マルチモーダル医用画像の補完的な情報を組み合わせて、医療専門家による患者の疾患の臨床診断を支援し、術前および術中の処置中にガイダンスを提供します。
ディープラーニング (DL) モデルは、非常に堅牢で正確な融合パフォーマンスを備えたエンドツーエンドの画像融合を実現しました。
ただし、ほとんどの DL ベースの融合モデルは、入力画像に対してダウンサンプリングを実行して、学習可能なパラメーターと計算の数を最小限に抑えます。
このプロセス中に、ソース画像の顕著な特徴が回復不能になり、診断上の重要なエッジの詳細やさまざまな脳組織のコントラストが失われます。
この論文では、アテンションプーリング (LGCA) を備えた統合ラプラシアン-ガウス連結に基づく新しいマルチモーダル医用画像融合モデルを提案します。
私たちは、私たちのモデルが相補的な情報と重要な組織構造を効果的に保存していることを証明します。

要約(オリジナル)

Medical image fusion combines the complementary information of multimodal medical images to assist medical professionals in the clinical diagnosis of patients’ disorders and provide guidance during preoperative and intra-operative procedures. Deep learning (DL) models have achieved end-to-end image fusion with highly robust and accurate fusion performance. However, most DL-based fusion models perform down-sampling on the input images to minimize the number of learnable parameters and computations. During this process, salient features of the source images become irretrievable leading to the loss of crucial diagnostic edge details and contrast of various brain tissues. In this paper, we propose a new multimodal medical image fusion model is proposed that is based on integrated Laplacian-Gaussian concatenation with attention pooling (LGCA). We prove that our model preserves effectively complementary information and important tissue structures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google