3D Masked Autoencoding and Pseudo-labeling for Domain Adaptive Segmentation of Heterogeneous Infant Brain MRI

要約

複数の年齢、モダリティ、およびサイトにわたる乳児脳 MRI のロバストなセグメンテーションは、さまざまな MRI スキャナー、ベンダー、または取得シーケンス、およびさまざまな神経発達段階によって引き起こされる本質的な不均一性のために依然として困難です。
この課題に対処するために、以前の研究では、機能の配置、エントロピーの最小化、コントラスト合成 (スタイル転送)、疑似ラベリングなど、さまざまな観点からドメイン適応 (DA) アルゴリズムを調査してきました。
この論文では、MAPSeg (Masked Autoencoding and Pseudo-labelling Segmentation) と呼ばれる新しいフレームワークを紹介し、乳児脳 MRI における皮質下領域のクロス年齢、クロスモダリティ、およびクロスサイト セグメンテーションの課題に対処します。
3D マスクされた自動エンコードとマスクされた擬似ラベリングを利用して、モデルはラベル付けされたソース ドメイン データとラベル付けされていないターゲット ドメイン データから共同で学習できます。
さまざまな年齢やサイトから取得した専門家の注釈付きデータセットでフレームワークを評価しました。
MAPSeg は、年齢、モダリティ、または取得部位に関係なく、皮質下領域のセグメント化における以前の最先端の教師付きベースライン、ドメイン一般化、ドメイン適応フレームワークなど、他の方法よりも一貫して優れていました。
コードと事前トレーニング済みのエンコーダーは、https://github.com/XuzheZ/MAPSeg で公開されます。

要約(オリジナル)

Robust segmentation of infant brain MRI across multiple ages, modalities, and sites remains challenging due to the intrinsic heterogeneity caused by different MRI scanners, vendors, or acquisition sequences, as well as varying stages of neurodevelopment. To address this challenge, previous studies have explored domain adaptation (DA) algorithms from various perspectives, including feature alignment, entropy minimization, contrast synthesis (style transfer), and pseudo-labeling. This paper introduces a novel framework called MAPSeg (Masked Autoencoding and Pseudo-labelling Segmentation) to address the challenges of cross-age, cross-modality, and cross-site segmentation of subcortical regions in infant brain MRI. Utilizing 3D masked autoencoding as well as masked pseudo-labeling, the model is able to jointly learn from labeled source domain data and unlabeled target domain data. We evaluated our framework on expert-annotated datasets acquired from different ages and sites. MAPSeg consistently outperformed other methods, including previous state-of-the-art supervised baselines, domain generalization, and domain adaptation frameworks in segmenting subcortical regions regardless of age, modality, or acquisition site. The code and pretrained encoder will be publicly available at https://github.com/XuzheZ/MAPSeg

arxiv情報

提供元, 利用サービス

arxiv.jp, Google