Coupling a Recurrent Neural Network to SPAD TCSPC Systems for Real-time Fluorescence Lifetime Imaging

要約

蛍光寿命イメージング (FLI) は、生物学および医学研究における強力な診断技術として近年ますます注目を集めています。
ただし、既存の FLI システムは、処理速度、精度、堅牢性の間のトレードオフに悩まされることがよくあります。
この論文では、精度を低下させることなく高速な FLI を可能にする堅牢なアプローチを提案します。
このアプローチはリカレント ニューラル ネットワーク (RNN) と結合された SPAD TCSPC システムに基づいており、ヒストグラムを構築せずに生のタイムスタンプから直接蛍光寿命を正確に推定するため、転送データ量とハードウェア リソースの使用率が大幅に削減され、ビデオ レートでの FLI 取得が可能になります。
合成データセットで RNN の 2 つのバリアントをトレーニングし、その結果を重心法 (CMM) および最小二乗フィッティング (LS フィッティング) を使用して得られた結果と比較します。
結果は、ゲート化リカレント ユニット (GRU) と長期短期記憶 (LSTM) の 2 つの RNN バリアントが、精度の点で CMM および LS フィッティングに匹敵し、バックグラウンド ノイズでは大幅に優れていることを示しています。
このアプローチの究極の限界を探るために、Cramer-Rao 測定の下限を導出し、RNN が最適に近い精度で寿命推定をもたらすことを示しました。
さらに、合成データセットで純粋にトレーニングされた FLI モデルは、これまでに見たことのない現実世界のデータとうまく連携します。
リアルタイム操作を実証するために、研究室で開発された 32×32 SPAD センサーである Piccolo に基づいて FLI 顕微鏡を構築しました。
1 秒あたり最大 400 万個のフォトンを処理できる 4 つの量子化 GRU コアが、Xilinx Kintex-7 FPGA に実装されています。
GRU を利用した FLI セットアップは、最大 10 フレーム/秒でリアルタイムの蛍光寿命画像を取得できます。
提案された FLI システムは有望であり、生物医学用途に理想的に適しています。

要約(オリジナル)

Fluorescence lifetime imaging (FLI) has been receiving increased attention in recent years as a powerful diagnostic technique in biological and medical research. However, existing FLI systems often suffer from a tradeoff between processing speed, accuracy, and robustness. In this paper, we propose a robust approach that enables fast FLI with no degradation of accuracy. The approach is based on a SPAD TCSPC system coupled to a recurrent neural network (RNN) that accurately estimates the fluorescence lifetime directly from raw timestamps without building histograms, thereby drastically reducing transfer data volumes and hardware resource utilization, thus enabling FLI acquisition at video rate. We train two variants of the RNN on a synthetic dataset and compare the results to those obtained using center-of-mass method (CMM) and least squares fitting (LS fitting). Results demonstrate that two RNN variants, gated recurrent unit (GRU) and long short-term memory (LSTM), are comparable to CMM and LS fitting in terms of accuracy, while outperforming them in background noise by a large margin. To explore the ultimate limits of the approach, we derived the Cramer-Rao lower bound of the measurement, showing that RNN yields lifetime estimations with near-optimal precision. Moreover, our FLI model, which is purely trained on synthetic datasets, works well with never-seen-before, real-world data. To demonstrate real-time operation, we have built a FLI microscope based on Piccolo, a 32×32 SPAD sensor developed in our lab. Four quantized GRU cores, capable of processing up to 4 million photons per second, are deployed on a Xilinx Kintex-7 FPGA. Powered by the GRU, the FLI setup can retrieve real-time fluorescence lifetime images at up to 10 frames per second. The proposed FLI system is promising and ideally suited for biomedical applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google