A review of deep learning-based information fusion techniques for multimodal medical image classification

要約

マルチモーダル医用画像処理は、さまざまな画像処理装置からの情報を組み合わせて根底にある病理をより包括的に理解できるため、臨床診断と研究において極めて重要な役割を果たしています。
最近、深層学習ベースのマルチモーダル融合技術が、医療画像分類を改善するための強力なツールとして登場しました。
このレビューでは、医療分類タスクのためのディープ ラーニング ベースのマルチモーダル フュージョンの開発を徹底的に分析します。
我々は、一般的な臨床モダリティ間の相補的関係を調査し、多峰性分類ネットワークの 3 つの主要な融合スキーム、つまり入力融合、中間融合 (単一レベル融合、階層融合、および注意ベースの融合を含む)、および出力融合について概説します。
これらの融合技術のパフォーマンスを評価することで、さまざまなマルチモーダル融合シナリオおよびアプリケーション ドメインに対するさまざまなネットワーク アーキテクチャの適合性についての洞察が得られます。
さらに、ネットワーク アーキテクチャの選択、不完全なマルチモーダル データ管理の処理、およびマルチモーダル フュージョンの潜在的な制限に関連する課題を掘り下げます。
最後に、Transformer ベースのマルチモーダル融合技術の有望な将来に焦点を当て、この急速に進化する分野における将来の研究に対する推奨事項を示します。

要約(オリジナル)

Multimodal medical imaging plays a pivotal role in clinical diagnosis and research, as it combines information from various imaging modalities to provide a more comprehensive understanding of the underlying pathology. Recently, deep learning-based multimodal fusion techniques have emerged as powerful tools for improving medical image classification. This review offers a thorough analysis of the developments in deep learning-based multimodal fusion for medical classification tasks. We explore the complementary relationships among prevalent clinical modalities and outline three main fusion schemes for multimodal classification networks: input fusion, intermediate fusion (encompassing single-level fusion, hierarchical fusion, and attention-based fusion), and output fusion. By evaluating the performance of these fusion techniques, we provide insight into the suitability of different network architectures for various multimodal fusion scenarios and application domains. Furthermore, we delve into challenges related to network architecture selection, handling incomplete multimodal data management, and the potential limitations of multimodal fusion. Finally, we spotlight the promising future of Transformer-based multimodal fusion techniques and give recommendations for future research in this rapidly evolving field.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google