Co-synthesis of Histopathology Nuclei Image-Label Pairs using a Context-Conditioned Joint Diffusion Model

要約

マルチクラスの病理組織核解析タスクでは、トレーニング データの欠如が学習ベースの手法のパフォーマンスの主なボトルネックになります。
この課題に取り組むために、これまでの手法では生成モデルを利用して合成サンプルを生成してデータを増やしてきました。
しかし、既存の方法では、合成データにおける生体組織のコンテキスト (形状、空間的配置、組織の種類など) を考慮することの重要性が見落とされていることがよくあります。
さらに、生成モデルは現実的な組織病理学画像の合成において優れたパフォーマンスを示していますが、既存の方法のいずれも画像とラベルのペアを同時に生成することはできません。
この論文では、コンテキスト条件付き結合拡散モデルを使用して、病理組織核画像とペアの意味ラベルを共合成するための新しいフレームワークを紹介します。
空間的および構造的コンテキスト情報を生成ターゲットに組み込むために、構造関連のテキスト プロンプトを備えた核重心レイアウトを使用した拡散モデルの条件付けを提案します。
さらに、画像とセマンティック ラベルと同時に合成された距離マップを使用してインスタンスごとの核ラベルを生成することにより、合成されたセマンティック ラベルの粒度が向上します。
私たちは、複数の施設、複数の臓器、および複数のモダリティのデータセットで高品質のサンプルを生成する際のフレームワークの有効性を実証します。
私たちの合成データは、核のセグメント化と分類という下流のタスクにおいて、既存の拡張手法を常に上回っています。

要約(オリジナル)

In multi-class histopathology nuclei analysis tasks, the lack of training data becomes a main bottleneck for the performance of learning-based methods. To tackle this challenge, previous methods have utilized generative models to increase data by generating synthetic samples. However, existing methods often overlook the importance of considering the context of biological tissues (e.g., shape, spatial layout, and tissue type) in the synthetic data. Moreover, while generative models have shown superior performance in synthesizing realistic histopathology images, none of the existing methods are capable of producing image-label pairs at the same time. In this paper, we introduce a novel framework for co-synthesizing histopathology nuclei images and paired semantic labels using a context-conditioned joint diffusion model. We propose conditioning of a diffusion model using nucleus centroid layouts with structure-related text prompts to incorporate spatial and structural context information into the generation targets. Moreover, we enhance the granularity of our synthesized semantic labels by generating instance-wise nuclei labels using distance maps synthesized concurrently in conjunction with the images and semantic labels. We demonstrate the effectiveness of our framework in generating high-quality samples on multi-institutional, multi-organ, and multi-modality datasets. Our synthetic data consistently outperforms existing augmentation methods in the downstream tasks of nuclei segmentation and classification.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google