Generative AI Enables Medical Image Segmentation in Ultra Low-Data Regimes

要約

医療画像のセマンティック セグメンテーションは、病気の診断や治療計画などのアプリケーションにおいて極めて重要です。
ディープ ラーニングはこのタスクの自動化に優れていますが、大きなハードルは、注釈付きのセグメンテーション マスクが多数必要なことです。これらのマスクを作成するには専門知識と時間が必要なため、大量のリソースが必要になります。
このシナリオは、多くの場合、注釈付き画像が非常に制限される超低データ領域につながり、テスト画像に対する従来の深層学習手法の一般化に重大な課題をもたらします。
これに対処するために、生成深層学習フレームワークを導入します。このフレームワークは、高品質のペアのセグメンテーション マスクと医療画像を独自に生成し、データが不足している環境で堅牢なモデルをトレーニングするための補助データとして機能します。
データ生成とセグメンテーション モデルのトレーニングを別個のプロセスとして扱う従来の生成モデルとは異なり、私たちの方法ではエンドツーエンドのデータ生成にマルチレベルの最適化が採用されています。
このアプローチにより、セグメンテーションのパフォーマンスがデータ生成プロセスに直接影響を与えることが可能になり、生成されたデータがセグメンテーション モデルのパフォーマンスを向上させるように特別に調整されることが保証されます。
私たちの手法は、9 つ​​の多様な医療画像セグメンテーション タスクと 16 のデータセットにわたって、超低データ領域で、さまざまな疾患、臓器、画像診断法にまたがる強力な汎化パフォーマンスを実証しました。
さまざまなセグメンテーション モデルに適用すると、同一ドメインとドメイン外の両方のシナリオで、10 ～ 20\% (絶対) のパフォーマンス向上が達成されました。
特に、同等の結果を達成するために必要なトレーニング データは、既存の方法よりも 8 ～ 20 倍少なくなります。
この進歩により、特に利用可能なデータが限られているシナリオにおいて、医療画像処理におけるディープラーニングの適用の実現可能性と費用対効果が大幅に向上します。

要約(オリジナル)

Semantic segmentation of medical images is pivotal in applications like disease diagnosis and treatment planning. While deep learning has excelled in automating this task, a major hurdle is the need for numerous annotated segmentation masks, which are resource-intensive to produce due to the required expertise and time. This scenario often leads to ultra low-data regimes, where annotated images are extremely limited, posing significant challenges for the generalization of conventional deep learning methods on test images. To address this, we introduce a generative deep learning framework, which uniquely generates high-quality paired segmentation masks and medical images, serving as auxiliary data for training robust models in data-scarce environments. Unlike traditional generative models that treat data generation and segmentation model training as separate processes, our method employs multi-level optimization for end-to-end data generation. This approach allows segmentation performance to directly influence the data generation process, ensuring that the generated data is specifically tailored to enhance the performance of the segmentation model. Our method demonstrated strong generalization performance across 9 diverse medical image segmentation tasks and on 16 datasets, in ultra-low data regimes, spanning various diseases, organs, and imaging modalities. When applied to various segmentation models, it achieved performance improvements of 10-20\% (absolute), in both same-domain and out-of-domain scenarios. Notably, it requires 8 to 20 times less training data than existing methods to achieve comparable results. This advancement significantly improves the feasibility and cost-effectiveness of applying deep learning in medical imaging, particularly in scenarios with limited data availability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google