A Diffusion Model Predicts 3D Shapes from 2D Microscopy Images

要約

拡散モデルは、学習した分布から新しいデータを合成できる特別なタイプの生成モデルです。
2 次元 (2D) 単一細胞顕微鏡画像からの 3 次元 (3D) 細胞形状予測の逆問題を解決するための拡散ベースのモデルである DISPR を紹介します。
事前に 2D 顕微鏡画像を使用して、DISPR は現実的な 3D 形状再構成を予測するように調整されます。
機能ベースの単一細胞分類タスクにおけるデータ拡張ツールとしての DISPR の適用性を紹介するために、6 つの非常に不均衡なクラスにグループ化された赤血球から形態学的特徴を抽出します。
DISPR 予測から 3 つの少数派クラスに特徴を追加すると、マクロ F1 スコアが $F1_\text{macro} = 55.2 \pm 4.6\%$ から $F1_\text{macro} = 72.2 \pm 4.9\%$ に改善されました。
したがって、拡散モデルが生物医学の逆問題にうまく適用できること、およびそれらが 2D 顕微鏡画像から現実的な形態学的特徴を備えた 3D 形状を再構築することを学習することを示します。

要約(オリジナル)

Diffusion models are a special type of generative model, capable of synthesising new data from a learnt distribution. We introduce DISPR, a diffusion-based model for solving the inverse problem of three-dimensional (3D) cell shape prediction from two-dimensional (2D) single cell microscopy images. Using the 2D microscopy image as a prior, DISPR is conditioned to predict realistic 3D shape reconstructions. To showcase the applicability of DISPR as a data augmentation tool in a feature-based single cell classification task, we extract morphological features from the red blood cells grouped into six highly imbalanced classes. Adding features from the DISPR predictions to the three minority classes improved the macro F1 score from $F1_\text{macro} = 55.2 \pm 4.6\%$ to $F1_\text{macro} = 72.2 \pm 4.9\%$. We thus demonstrate that diffusion models can be successfully applied to inverse biomedical problems, and that they learn to reconstruct 3D shapes with realistic morphological features from 2D microscopy images.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google