A Diffusion Model Predicts 3D Shapes from 2D Microscopy Images

要約

拡散モデルは生成モデルのクラスであり、自然画像データセットでトレーニングした場合、リアルな画像を作成する際に他の生成モデルと比較して優れたパフォーマンスを示します。
2 次元 (2D) 単一細胞顕微鏡画像からの 3 次元 (3D) 細胞形状予測の逆問題を解決するための拡散ベースのモデルである DISPR を紹介します。
事前に 2D 顕微鏡画像を使用して、DISPR は現実的な 3D 形状再構成を予測するように調整されます。
機能ベースの単一細胞分類タスクにおけるデータ拡張ツールとしての DISPR の適用性を紹介するために、6 つの非常に不均衡なクラスにグループ化された細胞から形態学的特徴を抽出します。
DISPR の予測から 3 つの少数派クラスに特徴を追加すると、マクロ F1 スコアが $F1_\text{macro} = 55.2 \pm 4.6\%$ から $F1_\text{macro} = 72.2 \pm 4.9\%$ に改善されました。
このコンテキストで拡散ベースのモデルを採用した最初の方法であるこの方法により、拡散モデルを 3D の逆問題に適用できること、および 2D 顕微鏡画像から現実的な形態学的特徴を使用して 3D 形状を再構築することを学習することを示します。

要約(オリジナル)

Diffusion models are a class of generative models, showing superior performance as compared to other generative models in creating realistic images when trained on natural image datasets. We introduce DISPR, a diffusion-based model for solving the inverse problem of three-dimensional (3D) cell shape prediction from two-dimensional (2D) single cell microscopy images. Using the 2D microscopy image as a prior, DISPR is conditioned to predict realistic 3D shape reconstructions. To showcase the applicability of DISPR as a data augmentation tool in a feature-based single cell classification task, we extract morphological features from the cells grouped into six highly imbalanced classes. Adding features from predictions of DISPR to the three minority classes improved the macro F1 score from $F1_\text{macro} = 55.2 \pm 4.6\%$ to $F1_\text{macro} = 72.2 \pm 4.9\%$. With our method being the first to employ a diffusion-based model in this context, we demonstrate that diffusion models can be applied to inverse problems in 3D, and that they learn to reconstruct 3D shapes with realistic morphological features from 2D microscopy images.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google