Reference-free Axial Super-resolution of 3D Microscopy Images using Implicit Neural Representation with a 2D Diffusion Prior

要約

3D 顕微鏡画像の解析と視覚化には、軸方向の解像度の異方性が原因で課題が生じ、軸方向に沿った体積超解像度が要求されます。
学習ベースの 3D 超解像度モデルのトレーニングは簡単な解決策のように見えますが、グラウンド トゥルースの等方性ボリュームが必要であり、次元の呪いに悩まされます。
したがって、既存の方法では、2D ニューラル ネットワークを利用して各軸スライスを再構築し、最終的にボリューム全体をつなぎ合わせます。
ただし、ピクセル領域で各スライスを再構成すると、すべての方向で一貫した再構成が得られず、位置ずれアーチファクトが発生します。
この研究では、暗黙的ニューラル表現 (INR) に基づく再構成フレームワークを提示します。これにより、バッチ方式で独立した軸方向スライスによって最適化された場合でも 3D コヒーレンシーが可能になります。
私たちの方法は、等方性ボリュームを必要とせずに、高解像度の横方向スライスで事前にトレーニングされた 2D 拡散を使用して、低解像度の軸方向スライスからの連続的なボリューム表現を最適化します。
実際の異方性顕微鏡画像と合成の異方性顕微鏡画像の実験を通じて、私たちの方法が他の最先端の再構成方法を上回ることを実証します。
ソース コードは GitHub: https://github.com/hvcl/INR-diffusion で入手できます。

要約(オリジナル)

Analysis and visualization of 3D microscopy images pose challenges due to anisotropic axial resolution, demanding volumetric super-resolution along the axial direction. While training a learning-based 3D super-resolution model seems to be a straightforward solution, it requires ground truth isotropic volumes and suffers from the curse of dimensionality. Therefore, existing methods utilize 2D neural networks to reconstruct each axial slice, eventually piecing together the entire volume. However, reconstructing each slice in the pixel domain fails to give consistent reconstruction in all directions leading to misalignment artifacts. In this work, we present a reconstruction framework based on implicit neural representation (INR), which allows 3D coherency even when optimized by independent axial slices in a batch-wise manner. Our method optimizes a continuous volumetric representation from low-resolution axial slices, using a 2D diffusion prior trained on high-resolution lateral slices without requiring isotropic volumes. Through experiments on real and synthetic anisotropic microscopy images, we demonstrate that our method surpasses other state-of-the-art reconstruction methods. The source code is available on GitHub: https://github.com/hvcl/INR-diffusion.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google