MIS-FM: 3D Medical Image Segmentation using Foundation Models Pretrained on a Large-Scale Unannotated Dataset

要約

大規模な 3D ボリュームを使用した事前トレーニングには、トレーニング画像とアノテーションが制限されているターゲットの医用画像データセットのセグメンテーション パフォーマンスを向上させる可能性があります。
大規模な事前トレーニング データセットでピクセル レベルのセグメンテーション アノテーションを取得するにはコストがかかるため、アノテーションのない画像を使用した事前トレーニングが非常に望ましいです。
この研究では、3D セグメンテーション モデルを事前トレーニングするために、ボリューム フュージョン (VF) と呼ばれる新しい自己教師あり学習戦略を提案します。
あらかじめ定義された離散融合係数のセットに基づいて、前景のサブボリュームから背景のサブボリュームにいくつかのランダムなパッチを融合し、モデルに各ボクセルの融合係数を強制的に予測させます。これは自己教師ありセグメンテーション タスクとして定式化されます。
手動の注釈なしで。
さらに、さまざまなスケールの臓器や病変を含むさまざまな下流のセグメンテーションタスクに転送するのに適した、並列畳み込みブロックと変換ブロックに基づく新しいネットワークアーキテクチャを提案します。
提案されたモデルは、110,000 の注釈なし 3D CT ボリュームで事前トレーニングされ、頭頸部臓器、胸部/腹部臓器を含むさまざまな下流セグメンテーション ターゲットを用いた実験により、事前トレーニングされたモデルがゼロからのトレーニングやいくつかの最先端の自己トレーニングよりも大幅に優れていることが示されました。
教師ありトレーニング方法とセグメンテーション モデル。
コードと事前トレーニングされたモデルは https://github.com/openmedlab/MIS-FM で入手できます。

要約(オリジナル)

Pretraining with large-scale 3D volumes has a potential for improving the segmentation performance on a target medical image dataset where the training images and annotations are limited. Due to the high cost of acquiring pixel-level segmentation annotations on the large-scale pretraining dataset, pretraining with unannotated images is highly desirable. In this work, we propose a novel self-supervised learning strategy named Volume Fusion (VF) for pretraining 3D segmentation models. It fuses several random patches from a foreground sub-volume to a background sub-volume based on a predefined set of discrete fusion coefficients, and forces the model to predict the fusion coefficient of each voxel, which is formulated as a self-supervised segmentation task without manual annotations. Additionally, we propose a novel network architecture based on parallel convolution and transformer blocks that is suitable to be transferred to different downstream segmentation tasks with various scales of organs and lesions. The proposed model was pretrained with 110k unannotated 3D CT volumes, and experiments with different downstream segmentation targets including head and neck organs, thoracic/abdominal organs showed that our pretrained model largely outperformed training from scratch and several state-of-the-art self-supervised training methods and segmentation models. The code and pretrained model are available at https://github.com/openmedlab/MIS-FM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google