SegFormer3D: an Efficient Transformer for 3D Medical Image Segmentation

要約

ビジョン トランスフォーマー (ViT) ベースのアーキテクチャの採用は、3D 医用画像 (MI) セグメンテーションの大幅な進歩を表し、グローバルなコンテキストの理解を強化することで従来の畳み込みニューラル ネットワーク (CNN) モデルを超えています。
このパラダイム シフトにより 3D セグメンテーションのパフォーマンスが大幅に向上しましたが、最先端のアーキテクチャでは、トレーニングと展開のために大規模なコンピューティング リソースを備えた非常に大規模で複雑なアーキテクチャが必要です。
さらに、医療画像処理でよく遭遇する限られたデータセットのコンテキストでは、大規模なモデルはモデルの一般化と収束の両方において障害となる可能性があります。
これらの課題に応え、軽量モデルが 3D 医療画像処理における貴重な研究分野であることを実証するために、マルチスケールの体積特徴全体にわたる注意を計算する階層型 Transformer である SegFormer3D を紹介します。
さらに、SegFormer3D は複雑なデコーダを回避し、オール MLP デコーダを使用してローカルおよびグローバル アテンション機能を集約し、高精度のセグメンテーション マスクを生成します。
提案されたメモリ効率の高い Transformer は、コンパクトな設計で非常に大きなモデルのパフォーマンス特性を維持します。
SegFormer3D は、現在の最先端 (SOTA) と比較してパラメータが 33 倍少なく、GFLOPS が 13 倍削減されたモデルを提供することで、3D 医用画像セグメンテーションのためのディープラーニングを民主化します。
私たちは、Synapse、BRaT、ACDC という 3 つの広く使用されているデータセット上の現在の SOTA モデルに対して SegFormer3D のベンチマークを行い、競争力のある結果を達成しました。
コード: https://github.com/OSUPCVLab/SegFormer3D.git

要約(オリジナル)

The adoption of Vision Transformers (ViTs) based architectures represents a significant advancement in 3D Medical Image (MI) segmentation, surpassing traditional Convolutional Neural Network (CNN) models by enhancing global contextual understanding. While this paradigm shift has significantly enhanced 3D segmentation performance, state-of-the-art architectures require extremely large and complex architectures with large scale computing resources for training and deployment. Furthermore, in the context of limited datasets, often encountered in medical imaging, larger models can present hurdles in both model generalization and convergence. In response to these challenges and to demonstrate that lightweight models are a valuable area of research in 3D medical imaging, we present SegFormer3D, a hierarchical Transformer that calculates attention across multiscale volumetric features. Additionally, SegFormer3D avoids complex decoders and uses an all-MLP decoder to aggregate local and global attention features to produce highly accurate segmentation masks. The proposed memory efficient Transformer preserves the performance characteristics of a significantly larger model in a compact design. SegFormer3D democratizes deep learning for 3D medical image segmentation by offering a model with 33x less parameters and a 13x reduction in GFLOPS compared to the current state-of-the-art (SOTA). We benchmark SegFormer3D against the current SOTA models on three widely used datasets Synapse, BRaTs, and ACDC, achieving competitive results. Code: https://github.com/OSUPCVLab/SegFormer3D.git

arxiv情報

提供元, 利用サービス

arxiv.jp, Google