Z-upscaling: Optical Flow Guided Frame Interpolation for Isotropic Reconstruction of 3D EM Volumes

要約

我々は、異方性 3D EM ボリュームの軸解像度を向上させて等方性 3D 再構成を実現する、新しいオプティカル フロー ベースのアプローチを提案します。
適切に位置合わせされた EM ボリューム内の 3D 生物学的構造の空間的連続性を仮定すると、ビデオの時間解像度の向上によく適用されるオプティカル フロー推定技術を利用できると考えられます。
ピクセル レベルの動きは、空間勾配フロー推定を使用して補間して新しい 2D スライスを生成し、等方性ボクセルを生成することにより、z に沿った隣接する 2D スライス間で推定されます。
私たちは、ビデオ フレーム補間および転移学習技術のための最新の学習方法を活用し、公的に入手可能な超微細構造 EM ボリュームに対するアプローチの成功を実証します。

要約(オリジナル)

We propose a novel optical flow based approach to enhance the axial resolution of anisotropic 3D EM volumes to achieve isotropic 3D reconstruction. Assuming spatial continuity of 3D biological structures in well aligned EM volumes, we reasoned that optical flow estimation techniques, often applied for temporal resolution enhancement in videos, can be utilized. Pixel level motion is estimated between neighboring 2D slices along z, using spatial gradient flow estimates to interpolate and generate new 2D slices resulting in isotropic voxels. We leverage recent state-of-the-art learning methods for video frame interpolation and transfer learning techniques, and demonstrate the success of our approach on publicly available ultrastructure EM volumes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google