StainDiffuser: MultiTask Dual Diffusion Model for Virtual Staining

要約

ヘマトキシリンとエオシン（H＆E）染色は、疾患の診断と腫瘍の再発を追跡するための病理学の標準と広く見なされています。
H＆E染色は組織構造を示していますが、疾患の重症度と治療反応に関連する特定のタンパク質を明らかにする能力がありません。
免疫組織化学（IHC）染色は、抗体を使用して、それぞれの細胞型に対するこれらのタンパク質の発現を強調し、診断精度を改善し、治療のための薬物選択を支援します。
その価値にもかかわらず、IHCの染色は追加の時間とリソースを必要とし、いくつかの臨床設定での利用を制限します。
深い学習の最近の進歩により、IHCの計算的で費用対効果の高い代替品として、画像間（I2I）翻訳を配置しました。
I2iは、高忠実度の染色変換をデジタルで生成し、IHCでの手動染色を潜在的に置き換える可能性があります。
画像生成と条件付きタスクにおける現在の最先端の拡散モデルは、高品質の画像を生成し、モード崩壊に対する回復力を生成する能力により、仮想IHCに特に適しています。
ただし、これらのモデルは、堅牢なパフォーマンスを実現するために、広範囲で多様なデータセット（多くの場合数百万のサンプル）が必要です。これは、通常、数千のサンプルのみが利用可能な仮想染色アプリケーションの課題です。
データが限られているシナリオでマルチタスクディープラーニングモデルの成功に触発され、StainDiffuserを紹介します。StainDiffuserは、小さなデータセットで収束を達成する仮想染色に合わせた新しいマルチタスク拡散アーキテクチャです。
staindiffuserは、2つの拡散プロセスを同時にトレーニングします。（a）H＆E画像から細胞固有のIHC染色を生成し、（b）トレーニング中にのみ粗いセグメンテーションラベルを利用してH＆Eベースの細胞セグメンテーションを実行します。
StainDiffuserは、2つのマーカーに対して高品質の仮想染色を生成し、20を超えるI2Iベースラインを上回ります。

要約(オリジナル)

Hematoxylin and Eosin (H&E) staining is widely regarded as the standard in pathology for diagnosing diseases and tracking tumor recurrence. While H&E staining shows tissue structures, it lacks the ability to reveal specific proteins that are associated with disease severity and treatment response. Immunohistochemical (IHC) stains use antibodies to highlight the expression of these proteins on their respective cell types, improving diagnostic accuracy, and assisting with drug selection for treatment. Despite their value, IHC stains require additional time and resources, limiting their utilization in some clinical settings. Recent advances in deep learning have positioned Image-to-Image (I2I) translation as a computational, cost-effective alternative for IHC. I2I generates high fidelity stain transformations digitally, potentially replacing manual staining in IHC. Diffusion models, the current state of the art in image generation and conditional tasks, are particularly well suited for virtual IHC due to their ability to produce high quality images and resilience to mode collapse. However, these models require extensive and diverse datasets (often millions of samples) to achieve a robust performance, a challenge in virtual staining applications where only thousands of samples are typically available. Inspired by the success of multitask deep learning models in scenarios with limited data, we introduce STAINDIFFUSER, a novel multitask diffusion architecture tailored to virtual staining that achieves convergence with smaller datasets. STAINDIFFUSER simultaneously trains two diffusion processes: (a) generating cell specific IHC stains from H&E images and (b) performing H&E based cell segmentation, utilizing coarse segmentation labels exclusively during training. STAINDIFFUSER generates high-quality virtual stains for two markers, outperforming over twenty I2I baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google