CSWin-UNet: Transformer UNet with Cross-Shaped Windows for Medical Image Segmentation

要約

深層学習、特に畳み込みニューラル ネットワーク (CNN) と Transformer アーキテクチャは、医療画像セグメンテーションにおける広範な研究の焦点となっており、目覚ましい成果を上げています。
ただし、CNN には帰納的バイアスがあり、より複雑で多様なセグメンテーション シナリオでは有効性が制限されます。
逆に、Transformer ベースの手法は、グローバルかつ長距離のセマンティックの詳細を取得することに優れていますが、高い計算要求に悩まされます。
本研究では、CSWin セルフ アテンション メカニズムを UNet に組み込み、水平および垂直ストライプ セルフ アテンションを容易にする新しい U 字型セグメンテーション手法である CSWin-UNet を提案します。
この方法により、計算効率と受容野相互作用の両方が大幅に向上します。
さらに、当社の革新的なデコーダーは、正確な画像解像度の復元のために、予測されたカーネルに基づいて機能を戦略的に再構築するコンテンツ認識型再構築オペレーターを利用しています。
シナプス多臓器 CT、心臓 MRI、皮膚病変などの多様なデータセットに対する広範な経験的評価により、CSWin-UNet が高いセグメンテーション精度を実現しながらモデルの複雑さを低く維持できることが実証されています。

要約(オリジナル)

Deep learning, especially convolutional neural networks (CNNs) and Transformer architectures, have become the focus of extensive research in medical image segmentation, achieving impressive results. However, CNNs come with inductive biases that limit their effectiveness in more complex, varied segmentation scenarios. Conversely, while Transformer-based methods excel at capturing global and long-range semantic details, they suffer from high computational demands. In this study, we propose CSWin-UNet, a novel U-shaped segmentation method that incorporates the CSWin self-attention mechanism into the UNet to facilitate horizontal and vertical stripes self-attention. This method significantly enhances both computational efficiency and receptive field interactions. Additionally, our innovative decoder utilizes a content-aware reassembly operator that strategically reassembles features, guided by predicted kernels, for precise image resolution restoration. Our extensive empirical evaluations on diverse datasets, including synapse multi-organ CT, cardiac MRI, and skin lesions, demonstrate that CSWin-UNet maintains low model complexity while delivering high segmentation accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google