Self-Supervised Modality-Agnostic Pre-Training of Swin Transformers

要約

教師なし事前トレーニングは変革的なパラダイムとして出現し、さまざまな領域で目覚ましい進歩を示しています。
ただし、トレーニング前のデータ配布が微調整とは異なるドメイン シフトの影響を受けやすいことが、大きな障害となります。
これに対処するために、Swin Transformer を拡張してさまざまな医療画像モダリティから学習し、下流のパフォーマンスを向上させます。
SwinFUSE (Swin Multi-Modal Fusion for UnSupervised Enhancement) と呼ばれる私たちのモデルは、3 つの重要な利点を提供します: (i) 事前トレーニング中にコンピューター断層撮影 (CT) と磁気共鳴画像 (MRI) の両方から学習し、結果として相補的な特徴表現が得られます。
;
(ii) 顕著な入力領域を効果的に強調表示し、適応性を高めるドメイン不変モジュール (DIM)。
(iii) 最初に事前訓練されたタスクの範囲を超えて、顕著な一般化可能性を示します。
公開されている 2 つの 3D セグメンテーション データセットでの実験では、単一モダリティ モデルと比較してパフォーマンスのトレードオフが 1 ～ 2% と控えめですが、分布外モダリティでは最大 27% という大幅なパフォーマンスの低下が見られます。
この大幅な改善は、私たちが提案したアプローチの実際的な関連性と現実世界への適用可能性を強調しています。
コードはhttps://github.com/devalab/SwinFUSEから入手できます。

要約(オリジナル)

Unsupervised pre-training has emerged as a transformative paradigm, displaying remarkable advancements in various domains. However, the susceptibility to domain shift, where pre-training data distribution differs from fine-tuning, poses a significant obstacle. To address this, we augment the Swin Transformer to learn from different medical imaging modalities, enhancing downstream performance. Our model, dubbed SwinFUSE (Swin Multi-Modal Fusion for UnSupervised Enhancement), offers three key advantages: (i) it learns from both Computed Tomography (CT) and Magnetic Resonance Images (MRI) during pre-training, resulting in complementary feature representations; (ii) a domain-invariance module (DIM) that effectively highlights salient input regions, enhancing adaptability; (iii) exhibits remarkable generalizability, surpassing the confines of tasks it was initially pre-trained on. Our experiments on two publicly available 3D segmentation datasets show a modest 1-2% performance trade-off compared to single-modality models, yet significant out-performance of up to 27% on out-of-distribution modality. This substantial improvement underscores our proposed approach’s practical relevance and real-world applicability. Code is available at: https://github.com/devalab/SwinFUSE

arxiv情報

提供元, 利用サービス

arxiv.jp, Google