Style-Extracting Diffusion Models for Semi-Supervised Histopathology Segmentation

要約

深層学習ベースの画像生成は拡散モデルによって大幅に進歩し、特に生成される画像の品質が向上しました。
これらの発展にもかかわらず、下流のタスクに有益な目に見えない特性を備えた画像の生成は、あまり注目されていません。
このギャップを埋めるために、2 つの調整メカニズムを特徴とするスタイル抽出拡散モデルを提案します。
具体的には、1) 画像生成中に以前に見たことのない画像のスタイル情報を挿入できるスタイル コンディショニング メカニズムと、2) 下流のタスク (セグメンテーション用のレイアウトなど) をターゲットにできるコンテンツ コンディショニングを利用します。
画像からスタイル情報を抽出するためのトレーニング可能なスタイル エンコーダーと、複数のスタイル入力からのスタイル情報をマージする集約ブロックを導入します。
このアーキテクチャにより、未見の画像のスタイルを活用することで、未見のスタイルの画像をゼロショットで生成できるようになり、より多様な生成が可能になります。
この作業では、画像レイアウトをターゲット条件として使用し、最初に概念実証として自然画像データセットに対するこの方法の機能を示します。
さらに、組織病理学におけるその多用途性を実証し、組織組成に関する事前の知識と注釈のないデータを組み合わせて、既知のレイアウトを備えた多様な合成画像を作成します。
これにより、追加の合成データを生成して、半教師あり形式でセグメンテーション ネットワークをトレーニングできるようになります。
セグメンテーションのトレーニング中に合成画像が含まれる場合、セグメンテーション結果の改善と患者間のパフォーマンスのばらつきの低減を示すことで、生成された画像の付加価値を検証します。
私たちのコードは [リンク] で公開されます。

要約(オリジナル)

Deep learning-based image generation has seen significant advancements with diffusion models, notably improving the quality of generated images. Despite these developments, generating images with unseen characteristics beneficial for downstream tasks has received limited attention. To bridge this gap, we propose Style-Extracting Diffusion Models, featuring two conditioning mechanisms. Specifically, we utilize 1) a style conditioning mechanism which allows to inject style information of previously unseen images during image generation and 2) a content conditioning which can be targeted to a downstream task, e.g., layout for segmentation. We introduce a trainable style encoder to extract style information from images, and an aggregation block that merges style information from multiple style inputs. This architecture enables the generation of images with unseen styles in a zero-shot manner, by leveraging styles from unseen images, resulting in more diverse generations. In this work, we use the image layout as target condition and first show the capability of our method on a natural image dataset as a proof-of-concept. We further demonstrate its versatility in histopathology, where we combine prior knowledge about tissue composition and unannotated data to create diverse synthetic images with known layouts. This allows us to generate additional synthetic data to train a segmentation network in a semi-supervised fashion. We verify the added value of the generated images by showing improved segmentation results and lower performance variability between patients when synthetic images are included during segmentation training. Our code will be made publicly available at [LINK].

arxiv情報

提供元, 利用サービス

arxiv.jp, Google