MultiTalent: A Multi-Dataset Approach to Medical Image Segmentation

要約

医療画像コミュニティは豊富なデータセットを生成しており、その多くはオープンにアクセスでき、特定の疾患や多臓器や病変のセグメンテーションなどのタスクに対して注釈が付けられています。
現在の実践では、モデルのトレーニングと教師付き事前トレーニングを 1 つまたは少数の同様のデータセットに限定し続けており、他の利用可能な注釈付きデータの相乗効果の可能性が無視されています。
私たちは、多様で矛盾するクラス定義を持つ複数の CT データセットを活用して、包括的な構造セグメンテーション用の単一モデルをトレーニングする手法である MultiTalent を提案します。
私たちの結果は、特に病変セグメンテーションやその他の困難な構造について、以前の関連アプローチと比較して体系的に、また最先端の方法を使用した単一データセットトレーニングと比較して、セグメンテーションパフォーマンスが向上していることを示しています。
MultiTalent は、一般的に使用される教師ありまたは教師なしの事前トレーニング ベースラインと比較して、さまざまなセグメンテーション タスクに対して優れた事前トレーニングを提供する強力な基礎モデルでもあることを示します。
私たちの発見は、医療画像コミュニティに、利用可能な豊富なデータを効果的に利用してセグメンテーションのパフォーマンスを向上させるという新しい方向性を提供します。
コードとモデルの重みはここで公開されます: [tba]

要約(オリジナル)

The medical imaging community generates a wealth of datasets, many of which are openly accessible and annotated for specific diseases and tasks such as multi-organ or lesion segmentation. Current practices continue to limit model training and supervised pre-training to one or a few similar datasets, neglecting the synergistic potential of other available annotated data. We propose MultiTalent, a method that leverages multiple CT datasets with diverse and conflicting class definitions to train a single model for a comprehensive structure segmentation. Our results demonstrate improved segmentation performance compared to previous related approaches, systematically, also compared to single dataset training using state-of-the-art methods, especially for lesion segmentation and other challenging structures. We show that MultiTalent also represents a powerful foundation model that offers a superior pre-training for various segmentation tasks compared to commonly used supervised or unsupervised pre-training baselines. Our findings offer a new direction for the medical imaging community to effectively utilize the wealth of available data for improved segmentation performance. The code and model weights will be published here: [tba]

arxiv情報

提供元, 利用サービス

arxiv.jp, Google