SMAFormer: Synergistic Multi-Attention Transformer for Medical Image Segmentation

要約

医療画像のセグメンテーションでは、特殊なコンピューター ビジョン技術、特に注意メカニズムに基づいたトランスフォーマーとスキップ接続を使用する残余ネットワークが、パフォーマンスの向上に貢献してきました。
それにもかかわらず、以前のモデルは、小さくて不規則な形の腫瘍をセグメント化するときにうまくいかないことがよくありました。
この目的を達成するために、小さな腫瘍や臓器のセグメンテーションを強化するための複数の注意メカニズムを融合する、効率的な Transformer ベースのアーキテクチャである SMAFormer を導入します。
SMAFormer は、医療画像のセグメンテーションのためにローカルとグローバルの両方の特徴をキャプチャできます。
このアーキテクチャは 2 つの重要なコンポーネントで構成されています。
まず、機能強化のためのピクセル アテンション、チャネル アテンション、および空間アテンションの利点を持つ Synergistic Multi-Attendant (SMA) Transformer ブロックが提案されます。
第二に、注意メカニズムの移行と特徴融合中に発生する情報損失の課題に対処し、特徴融合モジュレーターを設計します。
このモジュールは、再形成による情報の減少を軽減することで、チャネルと空間的注意の統合を強化します。
私たちの手法を評価するために、多臓器、肝腫瘍、膀胱腫瘍のセグメンテーションなど、さまざまな医療画像セグメンテーション タスクに関する広範な実験を実施し、最先端の結果を達成しました。
コードとモデルは \url{https://github.com/CXH-Research/SMAFormer} で入手できます。

要約(オリジナル)

In medical image segmentation, specialized computer vision techniques, notably transformers grounded in attention mechanisms and residual networks employing skip connections, have been instrumental in advancing performance. Nonetheless, previous models often falter when segmenting small, irregularly shaped tumors. To this end, we introduce SMAFormer, an efficient, Transformer-based architecture that fuses multiple attention mechanisms for enhanced segmentation of small tumors and organs. SMAFormer can capture both local and global features for medical image segmentation. The architecture comprises two pivotal components. First, a Synergistic Multi-Attention (SMA) Transformer block is proposed, which has the benefits of Pixel Attention, Channel Attention, and Spatial Attention for feature enrichment. Second, addressing the challenge of information loss incurred during attention mechanism transitions and feature fusion, we design a Feature Fusion Modulator. This module bolsters the integration between the channel and spatial attention by mitigating reshaping-induced information attrition. To evaluate our method, we conduct extensive experiments on various medical image segmentation tasks, including multi-organ, liver tumor, and bladder tumor segmentation, achieving state-of-the-art results. Code and models are available at: \url{https://github.com/CXH-Research/SMAFormer}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google