ABS-Mamba: SAM2-Driven Bidirectional Spiral Mamba Network for Medical Image Translation

要約

正確なマルチモーダル医療画像翻訳には、HAを採用するグローバルな解剖学的セマンティクスと局所的な構造的忠実度が必要です。これは、間モダリティ情報の損失と構造的歪みによって複雑な課題です。
ABS-MAMBAは、オルガン認識のセマンティック表現のためのモデル2（SAM2）、モダリティ固有のエッジとテクスチャーの詳細を維持するための特殊な畳み込みニューラルネットワーク（CNN）、および効率的な長期および短距離の特徴を保存するためのMAMBAの選択的状態空間モデリングのためのモデル2（SAM2）を統合する新しいアーキテクチャであるABS-Mambaを提案します。
構造的には、デュアル解像度のフレームワークはSAM2の画像エンコーダーを活用して高解像度の入力からオルガンスケールのセマンティクスをキャプチャし、並列CNNSブランチはきめ細かい局所的な特徴を抽出します。
堅牢な特徴Fusionネットワーク（RFFN）は、これらのepresentationを統合し、スパイラルスキャンおよび双方向の状態空間ダイナミクスを使用して、双方向MAMBA残差ネットワーク（BMRN）モデルの空間依存関係をモデル化します。
3段階のスキップ融合デコーダーは、エッジとテクスチャの忠実度を高めます。
事前に訓練されたコンポーネントの基礎能力を維持しながら、正確なドメインの専門化を可能にするために、効率的な低ランク適応（LORA+）微調整を採用しています。
Synthrad2023およびBrats2019データセットに関する広範な実験的検証は、ABS-Mambaが最先端の方法を上回り、臨床アプリケーションの診断精度を高めるために解剖学的セマンティクスと構造の詳細を保存する高忠実度のクロスモーダル合成を提供することを示しています。
このコードは、https：//github.com/gatina-yone/abs-mambaで入手できます

要約(オリジナル)

Accurate multi-modal medical image translation requires ha-rmonizing global anatomical semantics and local structural fidelity, a challenge complicated by intermodality information loss and structural distortion. We propose ABS-Mamba, a novel architecture integrating the Segment Anything Model 2 (SAM2) for organ-aware semantic representation, specialized convolutional neural networks (CNNs) for preserving modality-specific edge and texture details, and Mamba’s selective state-space modeling for efficient long- and short-range feature dependencies. Structurally, our dual-resolution framework leverages SAM2’s image encoder to capture organ-scale semantics from high-resolution inputs, while a parallel CNNs branch extracts fine-grained local features. The Robust Feature Fusion Network (RFFN) integrates these epresentations, and the Bidirectional Mamba Residual Network (BMRN) models spatial dependencies using spiral scanning and bidirectional state-space dynamics. A three-stage skip fusion decoder enhances edge and texture fidelity. We employ Efficient Low-Rank Adaptation (LoRA+) fine-tuning to enable precise domain specialization while maintaining the foundational capabilities of the pre-trained components. Extensive experimental validation on the SynthRAD2023 and BraTS2019 datasets demonstrates that ABS-Mamba outperforms state-of-the-art methods, delivering high-fidelity cross-modal synthesis that preserves anatomical semantics and structural details to enhance diagnostic accuracy in clinical applications. The code is available at https://github.com/gatina-yone/ABS-Mamba

arxiv情報

提供元, 利用サービス

arxiv.jp, Google