XFMamba: Cross-Fusion Mamba for Multi-View Medical Image Classification

要約

シングルビューの医療画像分類と比較して、複数のビューを使用すると、ビュー間の相関関係を活用しながら、各ビューの相補性を説明できるため、予測精度を大幅に向上させることができます。
既存のマルチビューアプローチでは、通常、単純な特徴融合戦略と組み合わせた個別の畳み込みまたは変圧器の枝を採用しています。
ただし、これらのアプローチは、本質的なクロスビューの相関関係を不注意に無視し、最適ではない分類パフォーマンスにつながり、限られた受容フィールド（CNNS）または二次計算の複雑さ（トランス）を伴う課題に苦しんでいます。
状態空間シーケンスモデルに触発され、マルチビューの医療画像分類の課題に対処するための純粋なマンバベースのクロスフュージョンアーキテクチャであるXFMAMBAを提案します。
XFMAMBAは、シングルビュー機能の学習とそのクロスビューの格差の学習を促進し、新しい2段階の融合戦略を導入しています。
このメカニズムは、各ビューで空間的に長距離依存関係をキャプチャし、ビュー間のシームレスな情報転送を強化します。
3つのパブリックデータセットの結果、Mura、Chexpert、およびDDSMは、多様なマルチビューの医療画像分類タスクにわたるアプローチの有効性を示しています。
コードはhttps://github.com/xzheng0427/xfmambaで入手できます。

要約(オリジナル)

Compared to single view medical image classification, using multiple views can significantly enhance predictive accuracy as it can account for the complementarity of each view while leveraging correlations between views. Existing multi-view approaches typically employ separate convolutional or transformer branches combined with simplistic feature fusion strategies. However, these approaches inadvertently disregard essential cross-view correlations, leading to suboptimal classification performance, and suffer from challenges with limited receptive field (CNNs) or quadratic computational complexity (transformers). Inspired by state space sequence models, we propose XFMamba, a pure Mamba-based cross-fusion architecture to address the challenge of multi-view medical image classification. XFMamba introduces a novel two-stage fusion strategy, facilitating the learning of single-view features and their cross-view disparity. This mechanism captures spatially long-range dependencies in each view while enhancing seamless information transfer between views. Results on three public datasets, MURA, CheXpert and DDSM, illustrate the effectiveness of our approach across diverse multi-view medical image classification tasks, showing that it outperforms existing convolution-based and transformer-based multi-view methods. Code is available at https://github.com/XZheng0427/XFMamba.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google