Advancing Volumetric Medical Image Segmentation via Global-Local Masked Autoencoder

要約

マスク オートエンコーダ (MAE) は、人間の介入なしでニューラル ネットワークの表現学習を改善できる、有望な自己教師あり事前トレーニング手法です。
ただし、MAE をボリューム医療画像に直接適用すると、2 つの課題が生じます。(i) 全体的なデータの臨床状況を理解するために重要なグローバル情報が不足していること、(ii) ランダムにマスクされた入力から学習した表現を安定させる保証がないことです。
これらの制限に対処するために、シンプルでありながら効果的なセルフである \textbf{G}lobal-\textbf{L}ocal \textbf{M}asked \textbf{A}uto\textbf{E}ncoder (GL-MAE) を提案します。
-監視付きの事前トレーニング戦略。
以前の方法と同様に、マスクされたローカル ビューを再構築することに加えて、GL-MAE には、マスクされたグローバル ビューを再構築することによるグローバル コンテキスト学習が組み込まれています。
さらに、完全なグローバルビューがアンカーとして統合され、再構築を導き、グローバルからグローバルへの一貫性学習およびグローバルからローカルへの一貫性学習を通じて学習プロセスを安定化します。
複数のデータセットに対する微調整結果は、他の最先端の自己教師ありアルゴリズムに対するこの手法の優位性を実証し、アノテーションが不足している場合でも、多用途の体積医療画像セグメンテーション タスクにおけるその有効性を強調しています。
コードとモデルは承認され次第リリースされます。

要約(オリジナル)

Masked autoencoder (MAE) is a promising self-supervised pre-training technique that can improve the representation learning of a neural network without human intervention. However, applying MAE directly to volumetric medical images poses two challenges: (i) a lack of global information that is crucial for understanding the clinical context of the holistic data, (ii) no guarantee of stabilizing the representations learned from randomly masked inputs. To address these limitations, we propose the \textbf{G}lobal-\textbf{L}ocal \textbf{M}asked \textbf{A}uto\textbf{E}ncoder (GL-MAE), a simple yet effective self-supervised pre-training strategy. In addition to reconstructing masked local views, as in previous methods, GL-MAE incorporates global context learning by reconstructing masked global views. Furthermore, a complete global view is integrated as an anchor to guide the reconstruction and stabilize the learning process through global-to-global consistency learning and global-to-local consistency learning. Finetuning results on multiple datasets demonstrate the superiority of our method over other state-of-the-art self-supervised algorithms, highlighting its effectiveness on versatile volumetric medical image segmentation tasks, even when annotations are scarce. Our codes and models will be released upon acceptance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google