Controllable and Efficient Multi-Class Pathology Nuclei Data Augmentation using Text-Conditioned Diffusion Models

要約

計算病理学の分野では、深層学習アルゴリズムにより核の分割や分類などのタスクが大幅に進歩しました。
ただし、これらの高度な手法の可能性は、利用可能なラベル付きデータの欠如によって制限されます。
この課題に対処するために、最近の生成モデルによる画像合成が積極的に検討されていますが、既存の研究ではラベル拡張にはほとんど取り組んでおらず、ほとんどが単一クラスの無条件ラベル生成に限定されています。
この論文では、テキスト条件付き拡散モデルを使用したマルチクラス原子核データ拡張のための新しい 2 段階フレームワークを紹介します。
第 1 段階では、ラベル構造情報を指定するテキスト プロンプトによって条件付けされた共同拡散モデルを通じて、マルチクラスのセマンティック ラベルと対応するインスタンス マップを生成することにより、核ラベル合成を革新します。
第 2 段階では、セマンティックおよびテキスト条件付き潜在拡散モデルを利用して、生成された核ラベル画像と一致する高品質の病理画像を効率的に生成します。
私たちは、定性的および定量的分析を含む評価と下流タスクの評価を用いて、大規模で多様な病理核データセットに対するこの方法の有効性を実証します。

要約(オリジナル)

In the field of computational pathology, deep learning algorithms have made significant progress in tasks such as nuclei segmentation and classification. However, the potential of these advanced methods is limited by the lack of available labeled data. Although image synthesis via recent generative models has been actively explored to address this challenge, existing works have barely addressed label augmentation and are mostly limited to single-class and unconditional label generation. In this paper, we introduce a novel two-stage framework for multi-class nuclei data augmentation using text-conditional diffusion models. In the first stage, we innovate nuclei label synthesis by generating multi-class semantic labels and corresponding instance maps through a joint diffusion model conditioned by text prompts that specify the label structure information. In the second stage, we utilize a semantic and text-conditional latent diffusion model to efficiently generate high-quality pathology images that align with the generated nuclei label images. We demonstrate the effectiveness of our method on large and diverse pathology nuclei datasets, with evaluations including qualitative and quantitative analyses, as well as assessments of downstream tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google