Revisiting MAE pre-training for 3D medical image segmentation

要約

自己教師あり学習 (SSL) は、ラベル付きデータの不足に悩まされているさまざまな下流アプリケーションに対して、未開発の膨大な臨床データセットの可能性を解き放つ刺激的な機会を提供します。
SSL は自然言語処理やコンピューター ビジョンなどの分野に革命をもたらしましたが、3D 医用画像コンピューティングでの採用は 3 つの重要な落とし穴によって制限されてきました。それは、事前トレーニング データセットのサイズが小さいこと、アーキテクチャが 3D 医用画像解析に不適切であること、および評価方法が不十分であることです。
この論文では、i) 39,000 の 3D 脳 MRI ボリュームの大規模データセットを活用し、ii) 最先端の nnU-Net フレームワーク内で Residual Encoder U-Net アーキテクチャを使用することによって、これらの問題に対処します。
iii) 5 つの開発用脳 MRI セグメンテーション データセットと 8 つのテスト用脳 MRI セグメンテーション データセットを組み込んだ堅牢な開発フレームワークにより、3D CNN 用のマスク オート エンコーダー (MAE) のシンプルなコンセプトを最適化するためのパフォーマンス主導の設計決定が可能になりました。
結果として得られたモデルは、以前の SSL メソッドを上回るだけでなく、強力な nnU-Net ベースラインを平均約 3 ダイス ポイント上回り、新しい最先端のモデルを確立しました。
私たちのコードとモデルはここから入手できます。

要約(オリジナル)

Self-Supervised Learning (SSL) presents an exciting opportunity to unlock the potential of vast, untapped clinical datasets, for various downstream applications that suffer from the scarcity of labeled data. While SSL has revolutionized fields like natural language processing and computer vision, its adoption in 3D medical image computing has been limited by three key pitfalls: Small pre-training dataset sizes, architectures inadequate for 3D medical image analysis, and insufficient evaluation practices. In this paper, we address these issues by i) leveraging a large-scale dataset of 39k 3D brain MRI volumes and ii) using a Residual Encoder U-Net architecture within the state-of-the-art nnU-Net framework. iii) A robust development framework, incorporating 5 development and 8 testing brain MRI segmentation datasets, allowed performance-driven design decisions to optimize the simple concept of Masked Auto Encoders (MAEs) for 3D CNNs. The resulting model not only surpasses previous SSL methods but also outperforms the strong nnU-Net baseline by an average of approximately 3 Dice points setting a new state-of-the-art. Our code and models are made available here.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google