DiffuseIR:Diffusion Models For Isotropic Reconstruction of 3D Microscopic Images

要約

三次元顕微鏡法は異方性の空間分解能によって制限されることが多く、その結果、軸方向の分解能が横方向の分解能よりも低くなります。
ディープ ニューラル ネットワークを利用した現在の最先端 (SoTA) 等方性再構成手法は、固定イメージング設定で優れた超解像度パフォーマンスを達成できます。
ただし、実際の使用における汎用性は、目に見えない異方性要因に直面した場合のアーチファクトやぼやけによって引き起こされるパフォーマンスの低下によって制限されます。
これらの問題に対処するために、拡散モデルに基づく等方性再構成のための教師なし手法である DiffuseIR を提案します。
まず、拡散モデルを事前トレーニングして、側面顕微鏡画像から生体組織の構造分布を学習し、自然な高解像度画像を生成します。
次に、低軸解像度の顕微鏡画像を使用して拡散モデルの生成プロセスを調整し、高軸解像度の再構成結果を生成します。
拡散モデルは軸方向の解像度とは独立した生体組織の普遍的な構造分布を学習するため、DiffuseIR は再トレーニングを必要とせずに、目に見えない低軸方向の解像度を持つ本物の画像を高軸方向の解像度に再構築できます。
提案された DiffuseIR は、EM データの実験で SoTA パフォーマンスを達成し、教師あり手法と競合することさえできます。

要約(オリジナル)

Three-dimensional microscopy is often limited by anisotropic spatial resolution, resulting in lower axial resolution than lateral resolution. Current State-of-The-Art (SoTA) isotropic reconstruction methods utilizing deep neural networks can achieve impressive super-resolution performance in fixed imaging settings. However, their generality in practical use is limited by degraded performance caused by artifacts and blurring when facing unseen anisotropic factors. To address these issues, we propose DiffuseIR, an unsupervised method for isotropic reconstruction based on diffusion models. First, we pre-train a diffusion model to learn the structural distribution of biological tissue from lateral microscopic images, resulting in generating naturally high-resolution images. Then we use low-axial-resolution microscopy images to condition the generation process of the diffusion model and generate high-axial-resolution reconstruction results. Since the diffusion model learns the universal structural distribution of biological tissues, which is independent of the axial resolution, DiffuseIR can reconstruct authentic images with unseen low-axial resolutions into a high-axial resolution without requiring re-training. The proposed DiffuseIR achieves SoTA performance in experiments on EM data and can even compete with supervised methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google