PhenDiff: Revealing Invisible Phenotypes with Conditional Diffusion Models

要約

過去 5 年間にわたって、深層生成モデルは生物学研究のさまざまなタスクに徐々に採用されてきました。
特に、画像から画像への変換法は、人間の目には見えない微妙な表現型細胞の変化を明らかにするのに効果的であることが示されました。
この目標を達成するための現在の方法は、主に敵対的生成ネットワーク (GAN) に依存しています。
ただし、これらのモデルには、トレーニングの不安定性やモードの崩壊などのいくつかの欠点があることが知られています。
さらに、実画像をトレーニング済み GAN の潜在力に反転する堅牢性の欠如により、実画像の柔軟な編集が妨げられます。
この研究では、顕微鏡画像内の微妙な表現型を識別するための条件付き拡散モデルに基づく画像間変換手法である PhenDiff を提案します。
生物学的データセットに対するこのアプローチを、CycleGAN などの以前の研究と比較して評価します。
生成された画像の品質と多様性の点で、PhenDiff がこのベースラインを上回っていることを示します。
次に、この方法を適用して、まれな神経発達障害によって引き起こされる目に見えない表現型の変化をオルガノイドの顕微鏡画像上に表示します。
まとめると、PhenDiff が高品質の生物学的画像間の変換を実行して、実際の画像上の微妙な表現型の変化を特定できることを示します。

要約(オリジナル)

Over the last five years, deep generative models have gradually been adopted for various tasks in biological research. Notably, image-to-image translation methods showed to be effective in revealing subtle phenotypic cell variations otherwise invisible to the human eye. Current methods to achieve this goal mainly rely on Generative Adversarial Networks (GANs). However, these models are known to suffer from some shortcomings such as training instability and mode collapse. Furthermore, the lack of robustness to invert a real image into the latent of a trained GAN prevents flexible editing of real images. In this work, we propose PhenDiff, an image-to-image translation method based on conditional diffusion models to identify subtle phenotypes in microscopy images. We evaluate this approach on biological datasets against previous work such as CycleGAN. We show that PhenDiff outperforms this baseline in terms of quality and diversity of the generated images. We then apply this method to display invisible phenotypic changes triggered by a rare neurodevelopmental disorder on microscopy images of organoids. Altogether, we demonstrate that PhenDiff is able to perform high quality biological image-to-image translation allowing to spot subtle phenotype variations on a real image.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google