Class-Aware Adversarial Transformers for Medical Image Segmentation

要約

トランスフォーマーは、医用画像解析ドメイン内の長期依存関係のモデル化に向けて目覚ましい進歩を遂げました。
ただし、現在のトランスフォーマー ベースのモデルにはいくつかの欠点があります。
(2) モデルは単一スケールの特徴表現のみを考慮しているため、情報が失われます。
(3) モデルによって生成されたセグメンテーション ラベル マップは、豊富なセマンティック コンテキストと解剖学的テクスチャを考慮しないと十分に正確ではありません。
この作業では、2D 医療画像セグメンテーション用の新しいタイプの敵対的トランスフォーマーである CASTformer を紹介します。
まず、ピラミッド構造を利用して、マルチスケールの表現を構築し、マルチスケールのバリエーションを処理します。
次に、セマンティック構造を持つオブジェクトの識別領域をより適切に学習するために、新しいクラス認識トランスモジュールを設計します。
最後に、セグメンテーションの精度を高める敵対的トレーニング戦略を利用し、それに応じてトランスフォーマーベースの弁別器が高レベルの意味的に相関したコンテンツと低レベルの解剖学的特徴をキャプチャできるようにします。
私たちの実験では、CASTformer が 3 つのベンチマークで以前の最先端のトランスフォーマー ベースのアプローチよりも劇的に優れており、以前のモデルよりも Dice で 2.54% ～ 5.88% の絶対的な改善が得られていることが示されています。
さらなる定性実験により、モデルの内部動作のより詳細な図が提供され、透明性の向上における課題が明らかになり、転移学習によってパフォーマンスが大幅に向上し、トレーニング中の医用画像データセットのサイズが縮小されることが示され、CASTformer が強力な出発点となります。
下流の医用画像解析タスク。

要約(オリジナル)

Transformers have made remarkable progress towards modeling long-range dependencies within the medical image analysis domain. However, current transformer-based models suffer from several disadvantages: (1) existing methods fail to capture the important features of the images due to the naive tokenization scheme; (2) the models suffer from information loss because they only consider single-scale feature representations; and (3) the segmentation label maps generated by the models are not accurate enough without considering rich semantic contexts and anatomical textures. In this work, we present CASTformer, a novel type of adversarial transformers, for 2D medical image segmentation. First, we take advantage of the pyramid structure to construct multi-scale representations and handle multi-scale variations. We then design a novel class-aware transformer module to better learn the discriminative regions of objects with semantic structures. Lastly, we utilize an adversarial training strategy that boosts segmentation accuracy and correspondingly allows a transformer-based discriminator to capture high-level semantically correlated contents and low-level anatomical features. Our experiments demonstrate that CASTformer dramatically outperforms previous state-of-the-art transformer-based approaches on three benchmarks, obtaining 2.54%-5.88% absolute improvements in Dice over previous models. Further qualitative experiments provide a more detailed picture of the model’s inner workings, shed light on the challenges in improved transparency, and demonstrate that transfer learning can greatly improve performance and reduce the size of medical image datasets in training, making CASTformer a strong starting point for downstream medical image analysis tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google