No-Clean-Reference Image Super-Resolution: Application to Electron Microscopy

要約

大きな脳組織体積にわたってきれいな高解像度 (HR) 電子顕微鏡 (EM) 画像を取得できないため、多くの神経科学研究が妨げられています。
この課題に対処するために、ノイズの多い低解像度 (LR) 取得から広い視野 (FoV) を備えたクリーンな HR 3D-EM を計算によって再構築する、深層学習ベースの画像超解像度 (SR) アプローチを提案します。
私たちの貢献は次のとおりです。 I) $\ell_2$ および $\ell_1$ 損失関数のノークリーン参照を使用したトレーニングを調査する。
II) 固有のノイズを低減しながら LR EM 画像の解像度を高めるための EMSR と呼ばれる新しいネットワーク アーキテクチャを導入します。
III) 取得した LR と HR 画像のペア、つまり、実際の破損で汚染されたクリーンでない参照を含む実際のペア、合成 LR と取得した HR のペア、取得した LR とノイズ除去した HR のペアの使用を含む、さまざまなトレーニング戦略を比較する。
9 つの脳データセットを使用した実験では、実際のペアを使用したトレーニングにより高品質の超解像結果が得られることが示され、両方の損失関数について非クリーンな参照を使用したトレーニングの実現可能性が実証されました。
さらに、トレーニングにノイズ除去された参照とノイズのある参照を使用した場合、視覚的にも数値的にも同等の結果が観察されました。
さらに、HR 対応者から合成的に生成された LR 画像でトレーニングされたネットワークを利用すると、満足のいく SR 結果を得るのに効果的であることが証明され、場合によっては、実際のペアを使用したトレーニングよりも優れたパフォーマンスを発揮しました。
提案された SR ネットワークは、いくつかの確立された SR 技術と定量的および定性的に比較され、詳細を回復しながらノイズを軽減する点で提案された方法の優位性または競合性が示されました。

要約(オリジナル)

The inability to acquire clean high-resolution (HR) electron microscopy (EM) images over a large brain tissue volume hampers many neuroscience studies. To address this challenge, we propose a deep-learning-based image super-resolution (SR) approach to computationally reconstruct clean HR 3D-EM with a large field of view (FoV) from noisy low-resolution (LR) acquisition. Our contributions are I) Investigating training with no-clean references for $\ell_2$ and $\ell_1$ loss functions; II) Introducing a novel network architecture, named EMSR, for enhancing the resolution of LR EM images while reducing inherent noise; and, III) Comparing different training strategies including using acquired LR and HR image pairs, i.e., real pairs with no-clean references contaminated with real corruptions, the pairs of synthetic LR and acquired HR, as well as acquired LR and denoised HR pairs. Experiments with nine brain datasets showed that training with real pairs can produce high-quality super-resolved results, demonstrating the feasibility of training with non-clean references for both loss functions. Additionally, comparable results were observed, both visually and numerically, when employing denoised and noisy references for training. Moreover, utilizing the network trained with synthetically generated LR images from HR counterparts proved effective in yielding satisfactory SR results, even in certain cases, outperforming training with real pairs. The proposed SR network was compared quantitatively and qualitatively with several established SR techniques, showcasing either the superiority or competitiveness of the proposed method in mitigating noise while recovering fine details.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google