SAM-Mamba: Mamba Guided SAM Architecture for Generalized Zero-Shot Polyp Segmentation

要約

結腸内視鏡検査におけるポリープのセグメンテーションは、結腸直腸がんを検出するために重要です。
しかし、ポリープの構造、色、サイズにはばらつきがあり、周囲の組織との明確な境界がないため、これは困難です。
畳み込みニューラル ネットワーク (CNN) に基づく従来のセグメンテーション モデルは、詳細なパターンとグローバル コンテキストをキャプチャするのが難しく、パフォーマンスが制限されます。
Vision Transformer (ViT) ベースのモデルは、これらの問題の一部に対処しますが、ローカル コンテキストをキャプチャするのが難しく、強力なゼロショット一般化が欠けています。
この目的を達成するために、効率的なポリープ セグメンテーションのための Mamba ガイド付きセグメント何でもモデル (SAM-Mamba) を提案します。
私たちのアプローチでは、エンコーダーに Mamba-Prior モジュールを導入し、SAM の一般的な事前トレーニング済み表現とポリープ関連の些細な手がかりとの間のギャップを橋渡しします。
これは、さまざまなスケールでグローバルな依存関係をキャプチャしながら、ポリープ画像の顕著なキューをドメイン事前として SAM 画像エンコーダーに注入し、より正確なセグメンテーション結果をもたらします。
5 つのベンチマーク データセットに対する広範な実験により、SAM-Mamba が定量的および定性的測定の両方で従来の CNN、ViT、アダプター ベースのモデルよりも優れていることが示されました。
さらに、SAM-Mamba は目に見えないデータセットに対する優れた適応性を示し、リアルタイムの臨床使用に非常に適しています。

要約(オリジナル)

Polyp segmentation in colonoscopy is crucial for detecting colorectal cancer. However, it is challenging due to variations in the structure, color, and size of polyps, as well as the lack of clear boundaries with surrounding tissues. Traditional segmentation models based on Convolutional Neural Networks (CNNs) struggle to capture detailed patterns and global context, limiting their performance. Vision Transformer (ViT)-based models address some of these issues but have difficulties in capturing local context and lack strong zero-shot generalization. To this end, we propose the Mamba-guided Segment Anything Model (SAM-Mamba) for efficient polyp segmentation. Our approach introduces a Mamba-Prior module in the encoder to bridge the gap between the general pre-trained representation of SAM and polyp-relevant trivial clues. It injects salient cues of polyp images into the SAM image encoder as a domain prior while capturing global dependencies at various scales, leading to more accurate segmentation results. Extensive experiments on five benchmark datasets show that SAM-Mamba outperforms traditional CNN, ViT, and Adapter-based models in both quantitative and qualitative measures. Additionally, SAM-Mamba demonstrates excellent adaptability to unseen datasets, making it highly suitable for real-time clinical use.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google