Recurrent Neural Network-coupled SPAD TCSPC System for Real-time Fluorescence Lifetime Imaging

要約

蛍光寿命イメージング (FLI) は、生物学および医学研究における強力なイメージング技術として近年ますます注目を集めています。
ただし、既存の FLI システムは、処理速度、精度、堅牢性の間のトレードオフに悩まされることがよくあります。
この論文では、FLI 用のリカレント ニューラル ネットワーク (RNN) と組み合わせた SPAD TCSPC システムを提案します。このシステムは、ヒストグラムではなく生のタイムスタンプから直接オンザフライで蛍光寿命を正確に推定し、データ転送速度とハードウェア リソースの使用率を大幅に削減します。
合成データセットで RNN の 2 つのバリアントをトレーニングし、その結果を重心法 (CMM) および最小二乗フィッティング (LS フィッティング) メソッドを使用して得られた結果と比較します。
結果は、2 つの RNN バリアント、ゲート型リカレント ユニット (GRU) と長期短期記憶 (LSTM) が、精度の点で CMM および LS フィッティングに匹敵し、バックグラウンドの存在下で CMM および LS フィッティングを大幅に上回るパフォーマンスを示していることを示しています。
ノイズ。
また、Cramer-Rao の下限にも注目し、詳細な分析により、RNN モデルが理論的な最適値に近いことが示されました。
実験データの分析により、合成データセットのみでトレーニングされたモデルが現実世界のデータでも適切に機能することがわかりました。
私たちは、研究室で開発された 32$\times$32 の SPAD センサーである Piccolo に基づいて、評価用の FLI 顕微鏡セットアップを構築しました。
1 秒あたり最大 400 万個のフォトンを処理できる 4 つの量子化 GRU コアが、Xilinx Kintex-7 FPGA に実装されています。
GRU を利用した FLI セットアップは、最大 10 フレーム/秒でリアルタイムの蛍光寿命画像を取得できます。
提案された FLI システムは、高速移動する細胞の生物学的イメージングから蛍光支援診断や手術に至るまで、多くの重要な生物医学応用に有望です。

要約(オリジナル)

Fluorescence lifetime imaging (FLI) has been receiving increased attention in recent years as a powerful imaging technique in biological and medical research. However, existing FLI systems often suffer from a tradeoff between processing speed, accuracy, and robustness. In this paper, we propose a SPAD TCSPC system coupled to a recurrent neural network (RNN) for FLI that accurately estimates on the fly fluorescence lifetime directly from raw timestamps instead of histograms, which drastically reduces the data transfer rate and hardware resource utilization. We train two variants of the RNN on a synthetic dataset and compare the results to those obtained using the center-of-mass method (CMM) and least squares fitting (LS fitting) methods. The results demonstrate that two RNN variants, gated recurrent unit (GRU) and long short-term memory (LSTM), are comparable to CMM and LS fitting in terms of accuracy and outperform CMM and LS fitting by a large margin in the presence of background noise. We also look at the Cramer-Rao lower bound and detailed analysis showed that the RNN models are close to the theoretical optima. The analysis of experimental data shows that our model, which is purely trained on synthetic datasets, works well on real-world data. We build a FLI microscope setup for evaluation based on Piccolo, a 32$\times$32 SPAD sensor developed in our lab. Four quantized GRU cores, capable of processing up to 4 million photons per second, are deployed on a Xilinx Kintex-7 FPGA. Powered by the GRU, the FLI setup can retrieve real-time fluorescence lifetime images at up to 10 frames per second. The proposed FLI system is promising for many important biomedical applications, ranging from biological imaging of fast-moving cells to fluorescence-assisted diagnosis and surgery.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google