V2V3D: View-to-View Denoised 3D Reconstruction for Light-Field Microscopy

要約

ライトフィールド顕微鏡（LFM）は、スナップショットベースの大規模な3D蛍光画像をキャプチャする能力により、大きな注目を集めています。
ただし、既存のLFM再構成アルゴリズムは、センサーノイズに非常に敏感であるか、トレーニングのためにグラウンドトゥルースの注釈付きデータが必要です。
これらの課題に対処するために、このペーパーでは、統一されたアーキテクチャにおける画像除去と3D再構成の共同最適化のための新しいパラダイムを確立する監視されていないView2ViewベースのフレームワークであるV2V3Dを紹介します。
LF画像は一貫した3D信号から派生しており、各ビューのノイズは独立していると仮定します。
これにより、V2V3Dは効果的な除去のためにNoise2Noiseの原理を組み込むことができます。
高周波の詳細の回復を強化するために、波光学系の前方伝播に使用されるポイントスプレッド関数を変換し、特徴的なアライメント用に設計された畳み込みカーネルに変換する新しい波数光学ベースの特徴アライメント手法を提案します。
さらに、LF画像と対応する3D強度ボリュームを含むLFMデータセットを導入します。
広範な実験は、私たちのアプローチが高い計算効率を達成し、他の最先端の方法よりも優れていることを示しています。
これらの進歩は、V2V3Dを困難な条件下で3Dイメージングの有望なソリューションとして位置付けています。

要約(オリジナル)

Light field microscopy (LFM) has gained significant attention due to its ability to capture snapshot-based, large-scale 3D fluorescence images. However, existing LFM reconstruction algorithms are highly sensitive to sensor noise or require hard-to-get ground-truth annotated data for training. To address these challenges, this paper introduces V2V3D, an unsupervised view2view-based framework that establishes a new paradigm for joint optimization of image denoising and 3D reconstruction in a unified architecture. We assume that the LF images are derived from a consistent 3D signal, with the noise in each view being independent. This enables V2V3D to incorporate the principle of noise2noise for effective denoising. To enhance the recovery of high-frequency details, we propose a novel wave-optics-based feature alignment technique, which transforms the point spread function, used for forward propagation in wave optics, into convolution kernels specifically designed for feature alignment. Moreover, we introduce an LFM dataset containing LF images and their corresponding 3D intensity volumes. Extensive experiments demonstrate that our approach achieves high computational efficiency and outperforms the other state-of-the-art methods. These advancements position V2V3D as a promising solution for 3D imaging under challenging conditions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google