Self-Supervised Super-Resolution Approach for Isotropic Reconstruction of 3D Electron Microscopy Images from Anisotropic Acquisition

要約

三次元電子顕微鏡 (3DEM) は、体積組織の超微細構造を調査するために不可欠な技術です。
技術的な制限と高いイメージングコストのため、サンプルは異方的にイメージングされることが多く、軸方向 ($z$) の解像度は横方向 $(x,y)$ よりも低くなります。
この異方性 3DEM は、後続の分析および視覚化タスクを妨げる可能性があります。
この制限を克服するために、異方性取得から等方性 3DEM を計算によって再構築する、新しい深層学習 (DL) ベースの自己教師あり超解像度アプローチを提案します。
提案された DL ベースのフレームワークは、ビジョン トランスフォーマー (ViT) ブロックを組み込んだ U 字型アーキテクチャに基づいて構築されており、ローカルおよびグローバルのマルチスケール画像依存関係の高機能学習を可能にします。
調整されたネットワークをトレーニングするために、自己監視型アプローチを採用します。
具体的には、指定された異方性 3DEM データから異方性トレーニング データセットと等方性トレーニング データセットのペアを生成します。
提案されたフレームワークを通じてトレーニングされたネットワークに指定された異方性 3DEM データセットを供給することにより、等方性 3DEM が取得されます。
重要なのは、この等方性再構成アプローチは、指定された異方性 3DEM データセットのみに依存し、同時登録された異方性 3DEM トレーニング データセットと等方性 3DEM トレーニング データセットのペアを必要としないことです。
提案手法の有効性を評価するために、脳から取得した 3 つの 3DEM データセットを使用して実験を実施しました。
実験結果は、私たちが提案したフレームワークが異方性取得から等方性 3DEM を首尾よく再構築できることを実証しました。

要約(オリジナル)

Three-dimensional electron microscopy (3DEM) is an essential technique to investigate volumetric tissue ultra-structure. Due to technical limitations and high imaging costs, samples are often imaged anisotropically, where resolution in the axial direction ($z$) is lower than in the lateral directions $(x,y)$. This anisotropy 3DEM can hamper subsequent analysis and visualization tasks. To overcome this limitation, we propose a novel deep-learning (DL)-based self-supervised super-resolution approach that computationally reconstructs isotropic 3DEM from the anisotropic acquisition. The proposed DL-based framework is built upon the U-shape architecture incorporating vision-transformer (ViT) blocks, enabling high-capability learning of local and global multi-scale image dependencies. To train the tailored network, we employ a self-supervised approach. Specifically, we generate pairs of anisotropic and isotropic training datasets from the given anisotropic 3DEM data. By feeding the given anisotropic 3DEM dataset in the trained network through our proposed framework, the isotropic 3DEM is obtained. Importantly, this isotropic reconstruction approach relies solely on the given anisotropic 3DEM dataset and does not require pairs of co-registered anisotropic and isotropic 3DEM training datasets. To evaluate the effectiveness of the proposed method, we conducted experiments using three 3DEM datasets acquired from brain. The experimental results demonstrated that our proposed framework could successfully reconstruct isotropic 3DEM from the anisotropic acquisition.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google