Large-scale single-photon imaging

要約

単一光子感度の恩恵を受けて、単一光子アバランシェ ダイオード (SPAD) アレイは、蛍光寿命イメージングや量子コンピューティングなどのさまざまな分野で広く適用されています。
ただし、大規模な高忠実度の単一光子イメージングは​​、複雑なハードウェア製造技術と SPAD アレイの大きなノイズ障害のために、大きな課題のままです。
この作業では、深層学習を SPAD に導入し、ビット深度とイメージング品質を大幅に向上させて、1 桁以上の超解像度単一光子イメージングを可能にします。
最初に SPAD エレクトロニクスの複雑なフォトン フロー モデルを研究して、複数の物理的ノイズ源を正確に特徴付け、実際の SPAD 画像データセット (64 $\times$ 32 ピクセル、90 シーン、10 の異なるビット深度、3 つの異なる照明束、2790 の画像
合計) ノイズ モデル パラメーターをキャリブレーションします。
この現実世界の物理ノイズ モデルを使用して、初めて大規模で現実的な単一光子画像データセットを合成しました (最大メガピクセルの 5 つの異なる解像度の画像ペア、17250 シーン、10 の異なるビット深度、3 つの異なる照明束、2.6
合計で 100 万枚の画像) を後続のネットワーク トレーニングに使用します。
ビット深度が低く、解像度が低く、ノイズが大きい SPAD 入力の深刻な超解像度の課題に取り組むために、コンテンツ適応自己注意メカニズムと、グローバルなコンテキスト機能を掘り下げることができるゲーテッド フュージョン モジュールを備えたディープ トランスフォーマー ネットワークをさらに構築しました。
マルチソース ノイズを除去し、全周波数の詳細を抽出します。
巨視的および顕微鏡的イメージング、マイクロ流体検査、フーリエ タイコグラフィーを含む一連の実験にこの手法を適用しました。
実験は、既存の方法と比較して PSNR で 5 dB 以上優れている、技術の最先端の超解像 SPAD イメージング性能を検証します。

要約(オリジナル)

Benefiting from its single-photon sensitivity, single-photon avalanche diode (SPAD) array has been widely applied in various fields such as fluorescence lifetime imaging and quantum computing. However, large-scale high-fidelity single-photon imaging remains a big challenge, due to the complex hardware manufacture craft and heavy noise disturbance of SPAD arrays. In this work, we introduce deep learning into SPAD, enabling super-resolution single-photon imaging over an order of magnitude, with significant enhancement of bit depth and imaging quality. We first studied the complex photon flow model of SPAD electronics to accurately characterize multiple physical noise sources, and collected a real SPAD image dataset (64 $\times$ 32 pixels, 90 scenes, 10 different bit depth, 3 different illumination flux, 2790 images in total) to calibrate noise model parameters. With this real-world physical noise model, we for the first time synthesized a large-scale realistic single-photon image dataset (image pairs of 5 different resolutions with maximum megapixels, 17250 scenes, 10 different bit depth, 3 different illumination flux, 2.6 million images in total) for subsequent network training. To tackle the severe super-resolution challenge of SPAD inputs with low bit depth, low resolution, and heavy noise, we further built a deep transformer network with a content-adaptive self-attention mechanism and gated fusion modules, which can dig global contextual features to remove multi-source noise and extract full-frequency details. We applied the technique on a series of experiments including macroscopic and microscopic imaging, microfluidic inspection, and Fourier ptychography. The experiments validate the technique’s state-of-the-art super-resolution SPAD imaging performance, with more than 5 dB superiority on PSNR compared to the existing methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google