C2FTrans: Coarse-to-Fine Transformers for Medical Image Segmentation

要約

深層学習ベースの医療画像分析で最も普及しているアーキテクチャである畳み込みニューラルネットワーク（CNN）は、固有の誘導バイアスと不十分な受容野によって機能的に制限されています。
この問題に対処するために生まれたTransformerは、長距離の依存関係をキャプチャする優れた能力により、自然言語処理とコンピュータービジョンで爆発的な注目を集めています。
ただし、医療画像セグメンテーションの最新のトランスフォーマーベースの方法では、CNNベースの方法の補助モジュールとしてバニラトランスフォーマーが直接適用されるため、トランスフォーマーの厳密なパッチ分割スキームにより、詳細が大幅に失われます。
この問題に対処するために、C2FTransを提案します。これは、医療画像のセグメンテーションを粗い手順から細かい手順として定式化する新しいマルチスケールアーキテクチャです。
C2FTransは主に、CNNのローカルコンテキスト類似性に対処するクロススケールグローバルトランスフォーマー（CGT）と、トランスフォーマーの厳密なパッチ分割によってもたらされる境界の不確実性を克服する境界認識ローカルトランスフォーマー（BLT）で構成されます。
具体的には、CGTは3つの異なる小規模機能マップにまたがるグローバル依存関係を構築し、許容可能な計算コストで豊富なグローバルセマンティック機能を取得します。一方、BLTは、エントロピーのガイダンスの下で境界の周りにウィンドウを適応的に生成することでミッドレンジ依存関係をキャプチャし、計算の複雑さを軽減して最小化します。
大規模な特徴マップに基づく詳細損失。
3つの公開データセットに関する広範な実験結果は、パラメーターが少なく、FLOPが低い最先端のCNNベースおよびトランスベースの方法に対するC2FTransの優れたパフォーマンスを示しています。
C2FTransの設計は、医療画像セグメンテーション用の効率的で軽量なトランスの開発に関する将来の作業をさらに刺激すると考えています。
このペーパーのソースコードは、https：//github.com/xianlin7/C2FTransで公開されています。

要約(オリジナル)

Convolutional neural networks (CNN), the most prevailing architecture for deep-learning based medical image analysis, are still functionally limited by their intrinsic inductive biases and inadequate receptive fields. Transformer, born to address this issue, has drawn explosive attention in natural language processing and computer vision due to its remarkable ability in capturing long-range dependency. However, most recent transformer-based methods for medical image segmentation directly apply vanilla transformers as an auxiliary module in CNN-based methods, resulting in severe detail loss due to the rigid patch partitioning scheme in transformers. To address this problem, we propose C2FTrans, a novel multi-scale architecture that formulates medical image segmentation as a coarse-to-fine procedure. C2FTrans mainly consists of a cross-scale global transformer (CGT) which addresses local contextual similarity in CNN and a boundary-aware local transformer (BLT) which overcomes boundary uncertainty brought by rigid patch partitioning in transformers. Specifically, CGT builds global dependency across three different small-scale feature maps to obtain rich global semantic features with an acceptable computational cost, while BLT captures mid-range dependency by adaptively generating windows around boundaries under the guidance of entropy to reduce computational complexity and minimize detail loss based on large-scale feature maps. Extensive experimental results on three public datasets demonstrate the superior performance of C2FTrans against state-of-the-art CNN-based and transformer-based methods with fewer parameters and lower FLOPs. We believe the design of C2FTrans would further inspire future work on developing efficient and lightweight transformers for medical image segmentation. The source code of this paper is publicly available at https://github.com/xianlin7/C2FTrans.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google