Intensity-Spatial Dual Masked Autoencoder for Multi-Scale Feature Learning in Chest CT Segmentation

要約

医療画像セグメンテーションの分野では、不明瞭な病変の特徴、曖昧な境界、マルチスケールの特徴などの課題が長年にわたって蔓延してきました。
この論文では、Intensity-Spatial Dual Masked AutoEncoder (ISD-MAE) と呼ばれる改良された方法を提案します。
組織コントラストのセミマスク オートエンコーダに基づいて、マスク オートエンコーダ (MAE) ブランチが導入され、マルチスケールの特徴学習およびセグメンテーション タスクのために胸部 CT 画像に対して強度マスキングおよび空間マスキング操作が実行されます。
このモデルは、デュアルブランチ構造と対照学習を利用して、組織の特徴と境界の詳細を学習する能力を強化します。
実験は複数の 2D および 3D データセットで行われます。
結果は、ISD-MAE が 2D 肺炎および縦隔腫瘍セグメンテーション タスクにおいて他の方法よりも大幅に優れていることを示しています。
たとえば、Dice スコアは COVID19 LESION データセットで 90.10% に達し、パフォーマンスは比較的安定しています。
ただし、3D データセットにはまだ改善の余地があります。
これに応じて、損失関数の最適化、強化された 3D 畳み込みブロックの使用、複数の観点からのデータセットの処理などの改善の方向性が提案されています。コードは https://github.com/prowontheus/ISD-MAE で入手できます。

要約(オリジナル)

In the field of medical image segmentation, challenges such as indistinct lesion features, ambiguous boundaries,and multi-scale characteristics have long revailed. This paper proposes an improved method named Intensity-Spatial Dual Masked AutoEncoder (ISD-MAE). Based on the tissue-contrast semi-masked autoencoder, a Masked AutoEncoder (MAE) branch is introduced to perform intensity masking and spatial masking operations on chest CT images for multi-scale feature learning and segmentation tasks. The model utilizes a dual-branch structure and contrastive learning to enhance the ability to learn tissue features and boundary details. Experiments are conducted on multiple 2D and 3D datasets. The results show that ISD-MAE significantly outperforms other methods in 2D pneumonia and mediastinal tumor segmentation tasks. For example, the Dice score reaches 90.10% on the COVID19 LESION dataset, and the performance is relatively stable. However, there is still room for improvement on 3D datasets. In response to this, improvement directions are proposed, including optimizing the loss function, using enhanced 3D convolution blocks, and processing datasets from multiple perspectives.Our code is available at:https://github.com/prowontheus/ISD-MAE.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google