Local Conditional Neural Fields for Versatile and Generalizable Large-Scale Reconstructions in Computational Imaging

要約

ディープラーニングは計算によるイメージングを変革しましたが、従来のピクセルベースの表現では、オブジェクトの連続したマルチスケールの詳細をキャプチャする能力が制限されています。
ここでは、この制限に対処するために連続的な暗黙的なニューラル表現を活用する、新しいローカル条件付きニューラル フィールド (LCNF) フレームワークを紹介します。
LCNF は柔軟なオブジェクト表現を可能にし、マルチスケール情報の再構築を容易にします。
多重測定を使用してフーリエ タイコグラフィー顕微鏡 (FPM) における高度に不良設定の逆問題を解決し、堅牢でスケーラブルで一般化可能な大規模な位相回復を実現する LCNF の機能を実証します。
従来のニューラル フィールド フレームワークとは異なり、LCNF には、モデルの一般化、マルチスケール情報の学習、および大規模イメージング データの効率的な処理を促進するローカル条件付き表現が組み込まれています。
LCNF は、学習された潜在ベクトルに基づいて条件付けされたエンコーダーとデコーダーを組み合わせることで、汎用性の高い連続領域の超解像度画像再構成を実現します。
わずか数回の多重化測定を使用して、広視野、高解像度位相画像の正確な再構成を実証します。
LCNF は、不完全なデータセットでトレーニングされた場合でも、連続オブジェクトの事前分布を確実に捕捉し、さまざまな位相アーティファクトを除去します。
このフレームワークは強力な一般化を示し、限られたトレーニング データでも多様なオブジェクトを再構築します。
さらに、LCNF は自然画像を使用して物理シミュレーター上でトレーニングすることができ、生体サンプルの実験測定にうまく適用できます。
私たちの結果は、計算イメージングにおける大規模逆問題を解決するための LCNF の可能性を強調しており、さまざまな深層学習ベースの技術に幅広く適用可能です。

要約(オリジナル)

Deep learning has transformed computational imaging, but traditional pixel-based representations limit their ability to capture continuous, multiscale details of objects. Here we introduce a novel Local Conditional Neural Fields (LCNF) framework, leveraging a continuous implicit neural representation to address this limitation. LCNF enables flexible object representation and facilitates the reconstruction of multiscale information. We demonstrate the capabilities of LCNF in solving the highly ill-posed inverse problem in Fourier ptychographic microscopy (FPM) with multiplexed measurements, achieving robust, scalable, and generalizable large-scale phase retrieval. Unlike traditional neural fields frameworks, LCNF incorporates a local conditional representation that promotes model generalization, learning multiscale information, and efficient processing of large-scale imaging data. By combining an encoder and a decoder conditioned on a learned latent vector, LCNF achieves versatile continuous-domain super-resolution image reconstruction. We demonstrate accurate reconstruction of wide field-of-view, high-resolution phase images using only a few multiplexed measurements. LCNF robustly captures the continuous object priors and eliminates various phase artifacts, even when it is trained on imperfect datasets. The framework exhibits strong generalization, reconstructing diverse objects even with limited training data. Furthermore, LCNF can be trained on a physics simulator using natural images and successfully applied to experimental measurements on biological samples. Our results highlight the potential of LCNF for solving large-scale inverse problems in computational imaging, with broad applicability in various deep-learning-based techniques.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google