MedSegFactory: Text-Guided Generation of Medical Image-Mask Pairs

要約

このペーパーでは、MedsegFactoryを紹介します。MedsegFactoryは、高品質のペアの医療画像とセグメンテーションマスクをモダリティとタスクにわたって生成する多目的な医療合成フレームワークです。
無制限のデータリポジトリとして機能し、既存のセグメンテーションツールを強化するために画像マスクペアを提供することを目指しています。
MedsegFactoryのコアはデュアルストリーム拡散モデルであり、1つのストリームは医療画像を合成し、もう1つは対応するセグメンテーションマスクを生成します。
画像マスクペア間の正確な整合を確保するために、ジョイントクロスアテナント（JCA）を導入し、ストリーム間の動的な相互条件により、共同除去パラダイムを可能にします。
この双方向の相互作用により、両方の表現が互いの生成を導くことができ、生成されたペア間の一貫性が向上します。
MedSegFactoryは、ターゲットラベル、イメージングモダリティ、解剖学的領域、および病理学的条件を指定するユーザー定義のプロンプトを介して、ペアの医療画像とセグメンテーションマスクのオンデマンド生成のロックを解除し、スケーラブルで高品質のデータ生成を促進します。
医療画像統合のこの新しいパラダイムにより、多様な医療画像ワークフローへのシームレスな統合により、効率と精度の両方が向上します。
広範な実験では、MedsegFactoryが優れた品質と使いやすさのデータを生成し、データ不足と規制の制約に対処しながら、2Dおよび3Dセグメンテーションタスクで競争力のあるまたは最先端のパフォーマンスを達成することが示されています。

要約(オリジナル)

This paper presents MedSegFactory, a versatile medical synthesis framework that generates high-quality paired medical images and segmentation masks across modalities and tasks. It aims to serve as an unlimited data repository, supplying image-mask pairs to enhance existing segmentation tools. The core of MedSegFactory is a dual-stream diffusion model, where one stream synthesizes medical images and the other generates corresponding segmentation masks. To ensure precise alignment between image-mask pairs, we introduce Joint Cross-Attention (JCA), enabling a collaborative denoising paradigm by dynamic cross-conditioning between streams. This bidirectional interaction allows both representations to guide each other’s generation, enhancing consistency between generated pairs. MedSegFactory unlocks on-demand generation of paired medical images and segmentation masks through user-defined prompts that specify the target labels, imaging modalities, anatomical regions, and pathological conditions, facilitating scalable and high-quality data generation. This new paradigm of medical image synthesis enables seamless integration into diverse medical imaging workflows, enhancing both efficiency and accuracy. Extensive experiments show that MedSegFactory generates data of superior quality and usability, achieving competitive or state-of-the-art performance in 2D and 3D segmentation tasks while addressing data scarcity and regulatory constraints.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google